察元AI教程库 · 文章 · 大模型

为预训练变换器添加递归以提高效率和上下文长度

近年来，对预训练的Transformer进行微调以完成下游任务已成为NLP领域的标准方法。尽管这些模型的性能令人印象深刻，但应用它们可能非常昂贵，尤其是使用最新架构的预训练新模型。我们提出了一种

作者:Davis Yoshida, Allyson Ettinger, Kevin Gimpel · 语言:en

简介