察元AI教程库 · 文章 · 微调

大型语言模型监督微调中的多样性保持

大型语言模型（LLMs）通常依赖监督微调（SFT）来专注于下游任务，交叉熵（CE）损失是事实上的选择。然而，CE最大化观测数据的似然性，而未考虑其他可能性。因此，CE通常会导致

作者:Ziniu Li, Congliang Chen, Tian Xu · 语言:en

前往原址学习

简介

大型语言模型（LLMs）通常依赖监督微调（SFT）来专注于下游任务，交叉熵（CE）损失是事实上的选择。然而，CE最大化观测数据的似然性，而未考虑其他可能性。因此，CE通常会导致

返回教程库 · 察元AI产品家族