察元AI教程库 · 文章 · 大模型

位置耦合：利用任务结构改进算术Transformer的长度泛化能力

即使在简单的算术任务（如整数加法）中，Transformer也难以泛化到训练时未遇到的更长序列。为解决此问题，我们提出了位置耦合方法，这是一种简单而有效的直接将任务结构嵌入的方法

作者:Hanseul Cho, Jaeyoung Cha, Pranjal Awasthi · 语言:en

简介