察元AI教程库 · 文章 · 微调

为什么监督微调无法学习？对大型语言模型中不完全学习的系统性研究

监督微调（SFT）是将大型语言模型（LLMs）适应特定下游任务的标准方法。然而，我们观察到一种持续存在的失败模式：即使模型收敛，它们仍常常无法正确复现其监督训练数据中的部分子集。我们将这种行为

作者:Chao Xue, Yao Wang, Mengqiao Liu · 语言:en

前往原址学习

简介

监督微调（SFT）是将大型语言模型（LLMs）适应特定下游任务的标准方法。然而，我们观察到一种持续存在的失败模式：即使模型收敛，它们仍常常无法正确复现其监督训练数据中的部分子集。我们将这种行为

返回教程库 · 察元AI产品家族