察元AI教程库 · 文章 · 微调

用于语言模型微调的方差减少的零阶方法

微调语言模型（LMs）在各种下游任务中已显示出成功。然而，随着LMs规模的扩大，反向传播所需的内存需求变得不可接受。零阶（ZO）优化方法可以利用内存高效的前向传播来估计梯度

作者:Tanmay Gautam, Youngsuk Park, Hao Zhou · 语言:en

前往原址学习

简介

微调语言模型（LMs）在各种下游任务中已显示出成功。然而，随着LMs规模的扩大，反向传播所需的内存需求变得不可接受。零阶（ZO）优化方法可以利用内存高效的前向传播来估计梯度

返回教程库 · 察元AI产品家族