察元AI教程库 · 文章 · 微调

Addax：利用零阶梯度提升SGD在语言模型微调中的内存效率和性能

使用Adam优化器对语言模型（LMs）进行微调通常需要大量内存，限制了其可及性。为解决此问题，提出了“原地”随机梯度下降（IP-SGD）和内存高效的零阶优化器（MeZO）。然而，IP-SGD仍然需要

作者:Zeman Li, Xinwei Zhang, Peilin Zhong · 语言:en

前往原址学习

简介

使用Adam优化器对语言模型（LMs）进行微调通常需要大量内存，限制了其可及性。为解决此问题，提出了“原地”随机梯度下降（IP-SGD）和内存高效的零阶优化器（MeZO）。然而，IP-SGD仍然需要

返回教程库 · 察元AI产品家族