察元AI教程库 · 文章 · 大模型

渐进性遗忘：用于扩展Transformer上下文窗口的对数压缩

在长上下文处理方面，已有大量工作通过集成递归或辅助记忆模块等机制来增加Transformer内部架构的复杂性。在本研究中，我们提出了一种替代方法，即修改输入表示本身，而不是修改

作者:Billy Dickson, Zoran Tiganj · 语言:en

简介