察元AI教程库 · 文章 · 微调

基于能量的模型微调：关注特征而非标记

交叉熵（CE）训练为语言模型提供了密集且可扩展的监督，但其在教师强制下优化下一个token预测，而非在模型滚动中优化序列级行为。我们引入了一个针对序列行为的语言模型微调的特征匹配目标

作者:Samy Jelassi, Mujin Kwun, Rosie Zhao · 语言:en

简介