察元AI教程库 · 文章 · 微调

通过选择性关键令牌微调增强大型语言模型推理能力

大型语言模型（LLMs）主要依赖监督微调（SFT）来适应预训练模型以完成特定领域的任务，如数学推理。然而，标准SFT对所有token进行统一惩罚，忽略了只有少数关键token决定了理解

作者:Zhiwen Ruan, Yixia Li, He Zhu · 语言:en

前往原址学习

简介

大型语言模型（LLMs）主要依赖监督微调（SFT）来适应预训练模型以完成特定领域的任务，如数学推理。然而，标准SFT对所有token进行统一惩罚，忽略了只有少数关键token决定了理解

返回教程库 · 察元AI产品家族