察元AI教程库 · 文章 · 微调

用于微调大型语言模型的高效零阶优化器，兼顾计算与内存效率

微调能够使大型语言模型适应下游任务，但通常会导致巨大的内存占用。一种有前景的解决方案是使用零阶（ZO）优化，该方法通过估计梯度来替代一阶（FO）梯度计算，尽管计算时间更长，

作者:Fei Wang, Li Shen, Liang Ding · 语言:en

简介