察元AI教程库 · 文章 · 大模型
通过并行化的注意力网络，神经Transformer训练非常快速。然而，由于解码器的自回归架构和自注意力机制，解码过程变得缓慢。为缓解这一问题，我们提出了一种平均注意力网络，作为自注意力机制的替代方案
作者:Biao Zhang, Deyi Xiong, Jinsong Su · 语言:en
通过并行化的注意力网络，神经Transformer训练非常快速。然而，由于解码器的自回归架构和自注意力机制，解码过程变得缓慢。为缓解这一问题，我们提出了一种平均注意力网络，作为自注意力机制的替代方案