察元AI教程库 · 文章 · 微调

在新知识上微调大型语言模型是否会导致幻觉？

当大型语言模型通过监督微调进行对齐时，它们可能会接触到在预训练过程中未获取的新事实信息。人们普遍推测，这会教会模型产生虚构且事实错误的回应的行为，因为模型在训练过程中被要求生成

作者:Zorik Gekhman, Gal Yona, Roee Aharoni · 语言:en

简介