察元AI教程库 · 文章 · 大模型

LayerNorm在Transformer解码器中引入了近因偏差

因果自注意力为Transformer解码器提供了位置信息。先前的研究表明，仅使用因果自注意力层堆叠会诱导注意力分数对早期标记产生位置偏向。然而，这与通常在Transformer中观察到的对后期标记的偏向不同

作者:Junu Kim, Xiao Liu, Zhenghao Lin · 语言:en

简介