察元AI教程库 · 文章 · 微调

监督微调后错误响应激活表示的线性可分性：大型语言模型中合成不诚实的研究

当一个语言模型经过微调产生系统性错误的响应时，这种训练是否会在其内部激活中留下一个结构化的、可线性恢复的痕迹？我们通过使用五个从1.4到90亿参数的Transformer架构，在受控的模型-有机体环境中研究了这一问题

作者:Vahideh Zolfaghari · 语言:en

简介