察元AI教程库 · 文章 · 大模型
Transformer在深度学习领域已变得无处不在。其成功的关键之一是自注意力机制，它能够对输入token进行全连接的上下文编码。然而，尽管自注意力机制在处理短序列方面表现有效，但在处理长序列时仍存在不足。
作者:Shuohang Wang, Luowei Zhou, Zhe Gan · 语言:en
Transformer在深度学习领域已变得无处不在。其成功的关键之一是自注意力机制，它能够对输入token进行全连接的上下文编码。然而，尽管自注意力机制在处理短序列方面表现有效，但在处理长序列时仍存在不足。