察元AI教程库 · 文章 · 微调

微调的不稳定性测量

在不同随机种子下对预训练语言模型进行下游任务微调已被证明是不稳定的，尤其是在小数据集上。许多先前的研究探讨了这种不稳定性，并提出了缓解方法，但大多数研究仅使用了性能标准差来衡量。

作者:Yupei Du, Dong Nguyen · 语言:en

前往原址学习

简介

在不同随机种子下对预训练语言模型进行下游任务微调已被证明是不稳定的，尤其是在小数据集上。许多先前的研究探讨了这种不稳定性，并提出了缓解方法，但大多数研究仅使用了性能标准差来衡量。

返回教程库 · 察元AI产品家族