察元AI教程库 · 文章 · 大模型

AGGC：用于稳定大型语言模型训练的自适应组梯度裁剪

为了稳定训练大型语言模型（LLMs），梯度裁剪是一种几乎普遍使用的启发式方法，用于缓解梯度爆炸问题。然而，传统的全局范数裁剪错误地假设不同功能模块的梯度是均匀的，导致产生不利的“溢出”

作者:Zhiyuan Li, Yuan Wu, Yi Chang · 语言:en

前往原址学习

简介

为了稳定训练大型语言模型（LLMs），梯度裁剪是一种几乎普遍使用的启发式方法，用于缓解梯度爆炸问题。然而，传统的全局范数裁剪错误地假设不同功能模块的梯度是均匀的，导致产生不利的“溢出”

返回教程库 · 察元AI产品家族