察元AI教程库 · 文章 · 大模型
我们探讨了深度Transformer模型在神经机器翻译（NMT）中的应用。通过一种简单而有效的初始化技术来稳定训练，我们证明了构建标准Transformer模型，其编码器可达60层，解码器可达12层是可行的。
作者:Xiaodong Liu, Kevin Duh, Liyuan Liu · 语言:en
我们探讨了深度Transformer模型在神经机器翻译（NMT）中的应用。通过一种简单而有效的初始化技术来稳定训练，我们证明了构建标准Transformer模型，其编码器可达60层，解码器可达12层是可行的。