察元AI教程库 · 文章 · 微调

MaZO：基于掩码零阶优化的多任务大语言模型微调

大型语言模型在各种任务中表现出卓越的能力，但其微调需要大量内存，这对资源受限的环境构成挑战。零阶（ZO）优化提供了一种内存高效的替代方案，通过消除反向传播的需要来减少内存消耗。

作者:Zhen Zhang, Yifan Yang, Kai Zhen · 语言:en

简介