察元AI教程库 · 文章 · 大模型

使用RMT将Transformer扩展到100万tokens及以上

Transformer在解决更广泛问题时的一个主要限制是其计算复杂度随输入规模呈二次增长。本研究探讨了在预训练的Transformer模型中引入循环记忆增强，以扩展输入上下文长度，同时实现线性扩展

作者:Aydar Bulatov, Yuri Kuratov, Yermek Kapushev · 语言:en

简介