察元AI教程库 · 文章 · 大模型

ScaleFormer：用于长上下文Transformer的跨度表示累积

标准自注意力的二次复杂度严重限制了基于Transformer的模型在长上下文任务中的应用。尽管存在高效的Transformer变体，但它们通常需要架构改变和从头开始的昂贵预训练。为了克服这一问题，我们提出了ScaleFormer

作者:Jiangshu Du, Wenpeng Yin, Philip Yu · 语言:en

简介