察元AI教程库 · 文章 · 微调

GRASS：基于梯度的自适应分层重要性采样用于高效的大语言模型微调

大型语言模型的全参数微调受限于巨大的GPU内存需求。低秩适应方法通过仅更新部分参数缓解了这一挑战。然而，这些方法通常限制了模型的表达能力，性能低于全参数微调

作者:Kaiyuan Tian, Yu Tang, Gongqingjian Jiang · 语言:en

前往原址学习

简介

大型语言模型的全参数微调受限于巨大的GPU内存需求。低秩适应方法通过仅更新部分参数缓解了这一挑战。然而，这些方法通常限制了模型的表达能力，性能低于全参数微调

返回教程库 · 察元AI产品家族