察元AI教程库 · 文章 · 大模型
我们表明，通过用简单的线性变换来替代Transformer编码器架构中的自注意力子层，可以显著提升模型速度，且在准确性上几乎没有损失。这些线性混合器，结合前馈层中的标准非线性函数，证明了在模型中建模的有效性。
作者:James Lee-Thorp, Joshua Ainslie, Ilya Eckstein · 语言:en
我们表明，通过用简单的线性变换来替代Transformer编码器架构中的自注意力子层，可以显著提升模型速度，且在准确性上几乎没有损失。这些线性混合器，结合前馈层中的标准非线性函数，证明了在模型中建模的有效性。