察元AI教程库 · 文章 · 大模型
位置建模在Transformer中起着关键作用。本文重点关注长度外推，即在短文本上训练而在长序列上进行评估。我们定义了注意力分辨率作为外推的指标。然后，我们提出了两种设计来改进上述Transformer的这一指标。
作者:Yutao Sun, Li Dong, Barun Patra · 语言:en
位置建模在Transformer中起着关键作用。本文重点关注长度外推，即在短文本上训练而在长序列上进行评估。我们定义了注意力分辨率作为外推的指标。然后，我们提出了两种设计来改进上述Transformer的这一指标。