察元AI教程库 · 文章 · 微调

通过低秩结构增强语言模型的零阶微调

参数高效的微调（PE PEFT）在为大型语言模型（LLMs）适应下游应用时显著降低了内存开销。然而，传统的首阶（FO）微调算法由于需要存储激活值以进行反向传播，导致巨大的内存开销

作者:Yiming Chen, Yuan Zhang, Liyuan Cao · 语言:en

前往原址学习

简介

参数高效的微调（PE PEFT）在为大型语言模型（LLMs）适应下游应用时显著降低了内存开销。然而，传统的首阶（FO）微调算法由于需要存储激活值以进行反向传播，导致巨大的内存开销

返回教程库 · 察元AI产品家族