察元AI教程库 · 文章 · 大模型

NormFormer：通过额外归一化改进的Transformer预训练

在预训练过程中，Pre-LayerNorm Transformer存在梯度幅度不匹配问题：早期层的梯度远大于后期层。这些问题可以通过我们提出的NormFormer架构得到缓解，该架构在每一层中添加了三个归一化操作：一个Layer Norm

作者:Sam Shleifer, Jason Weston, Myle Ott · 语言:en

简介