察元AI教程库 · 文章 · 微调

针对分布内和分布外数据的语言模型微调校准

微调后的预训练语言模型在分布内和分布外（OOD）数据上可能出现严重的校准偏差，这是由于过参数化导致的。为缓解此问题，我们提出了一种正则化微调方法。该方法引入了两种类型的正则化以实现更好的校

作者:Lingkai Kong, Haoming Jiang, Yuchen Zhuang · 语言:en

简介