察元AI教程库 · 文章 · 微调

仅通过前向传播进行语言模型微调

对语言模型（LMs）进行微调在各种下游任务中取得了成功，但随着LMs规模的增大，反向传播需要的内存量变得极其庞大。零阶（ZO）方法原则上仅需两次前向传播即可估计梯度，但理论上存在灾难性的

作者:Sadhika Malladi, Tianyu Gao, Eshaan Nichani · 语言:en

简介