察元AI教程库 · 文章 · 微调

从令牌和参数层面分析监督微调对模型知识的影响

大型语言模型（LLMs）在预训练过程中获取大量世界知识，这一知识又通过训练后技术（如监督微调SFT）进一步塑造。然而，SFT对模型知识的影响仍不明确，限制了我们对知识变化的控制能力

作者:Junjie Ye, Yuming Yang, Yang Nan · 语言:en

前往原址学习

简介

大型语言模型（LLMs）在预训练过程中获取大量世界知识，这一知识又通过训练后技术（如监督微调SFT）进一步塑造。然而，SFT对模型知识的影响仍不明确，限制了我们对知识变化的控制能力

返回教程库 · 察元AI产品家族