察元AI教程库 · 文章 · 大模型

掩码注意力网络：重新思考并强化Transformer

Transformer是一种基于注意力的神经网络，由两个子层组成：自注意力网络（SAN）和前馈网络（FFN）。现有研究致力于分别优化这两个子层，以提升Transformer在文本表示方面的性能。本文，

作者:Zhihao Fan, Yeyun Gong, Dayiheng Liu · 语言:en

简介