察元AI教程库 · 文章 · 大模型

用于代码大语言模型的代码比较微调

本文提出了一种梯度感知的微调方法，用于在少样本条件下对大型语言模型进行优化。目标是当数据有限时增强任务适应性和训练稳定性。该方法基于基础损失函数，并引入了两个与梯度相关的正则化项。

作者:Yufan Jiang, Qiaozhi He, Xiaomin Zhuang · 语言:en

简介