察元AI教程库 · 文章 · 大模型

使异步随机梯度下降在 Transformer 中有效工作

异步随机梯度下降（SGD）从速度角度来看具有吸引力，因为工人无需等待同步。然而，Transformer模型在使用异步SGD时收敛效果较差，导致与同步SGD相比，生成的模型质量显著降低。为了探究这一现象

作者:Alham Fikri Aji, Kenneth Heafield · 语言:en

前往原址学习

简介

异步随机梯度下降（SGD）从速度角度来看具有吸引力，因为工人无需等待同步。然而，Transformer模型在使用异步SGD时收敛效果较差，导致与同步SGD相比，生成的模型质量显著降低。为了探究这一现象

返回教程库 · 察元AI产品家族