察元AI教程库 · 文章 · 微调

通用指令微调中上下文感知能力的丧失

预训练的大型语言模型（LLMs）需要通过监督微调（SFT）等后训练方法，使用指令-响应对来实现指令遵循。然而，这一过程可能会损害预训练期间学到的现有能力。本文我们研究了

作者:Yihan Wang, Andrew Bai, Nanyun Peng · 语言:en

前往原址学习

简介

预训练的大型语言模型（LLMs）需要通过监督微调（SFT）等后训练方法，使用指令-响应对来实现指令遵循。然而，这一过程可能会损害预训练期间学到的现有能力。本文我们研究了

返回教程库 · 察元AI产品家族