察元AI教程库 · 文章 · 大模型

$\infty$-former：无限内存Transformer

Transformer无法有效建模长期记忆，因为其计算量随上下文长度增长而增加。尽管已经提出了多种高效的Transformer变体，但它们都具有有限的内存容量，并被迫丢弃旧信息。本文

作者:Pedro Henrique Martins, Zita Marinho, André F. T. Martins · 语言:en

前往原址学习

简介

Transformer无法有效建模长期记忆，因为其计算量随上下文长度增长而增加。尽管已经提出了多种高效的Transformer变体，但它们都具有有限的内存容量，并被迫丢弃旧信息。本文

返回教程库 · 察元AI产品家族