察元AI教程库 · 文章 · 大模型

Transformer注意力中的位置无关预投影：非线性特征构造及Q/K/V内容跳过

我们提出了两种互补的Transformer注意力块修改方法。首先，在层归一化和Q/K/V投影之间插入一个非线性预投影MLP，以位置无关的方式构建更丰富的特征，然后再应用任何位置编码。其次，引入一个内容跳接连接

作者:Chirag Shinde · 语言:en

简介