察元AI教程库 · 文章 · 大模型

用于语言模型的高效变换器，配备增强的位置嵌入

本文提出了一种高效的Transformer架构，通过增强位置编码来获得比基线模型更优的性能，且编码器-解码器层数减少一半。我们证明，通过将位置编码与可训练的token嵌入拼接，对嵌入矩阵进行

作者:Yen-Che Hsiao, Abhishek Dutta · 语言:en

简介