察元AI教程库 · 文章 · 大模型

DNT：一种深度归一化的Transformer，可通过动量SGD进行训练

Transformer已成为现代深度学习的基石，但其训练通常需要先进的优化器，如自适应学习率的AdamW，而非动量SGDW（mSGDW）。以往的研究表明，这主要是由于梯度分布呈重尾分布所致

作者:Xianbiao Qi, Marco Chen, Wenjie Xiao · 语言:en

前往原址学习

简介

Transformer已成为现代深度学习的基石，但其训练通常需要先进的优化器，如自适应学习率的AdamW，而非动量SGDW（mSGDW）。以往的研究表明，这主要是由于梯度分布呈重尾分布所致

返回教程库 · 察元AI产品家族