察元AI教程库 · 文章 · 微调

语言模型微调中的幻觉转换：密度矩阵分析

微调的语言模型中，当正确完成必须优于近义词竞争者时，通常会无声失败。交叉熵损失单调下降，而正确标记从未在模型的排名中超越竞争者。我们在两种框架下的五个Transformer架构中研究了这一现象

作者:Vaibhav Prakash, Jayasri Dontabhaktuni · 语言:en

简介