察元AI教程库 · 文章 · 微调

GRZO：大型语言模型微调的组相对零阶优化

零阶（ZO）优化是一种比反向传播更节省内存的大型语言模型微调替代方案，但其部署受限于梯度估计的高方差。我们提出了GRZO，一种基于组相对零阶优化器，通过抽取一个伪独立的扰动

作者:Liyan Tan, Yequan Zhao, Yifan Yang · 语言:en

前往原址学习

简介

零阶（ZO）优化是一种比反向传播更节省内存的大型语言模型微调替代方案，但其部署受限于梯度估计的高方差。我们提出了GRZO，一种基于组相对零阶优化器，通过抽取一个伪独立的扰动

返回教程库 · 察元AI产品家族