察元AI教程库 · 文章 · 微调

预训练模型微调的动态纠错自蒸馏

我们解决了在迁移学习过程中，当预训练语言模型（PLMs）的下游数据有限时，出现的激进微调问题。该问题主要导致后续任务性能下降。我们受到自适应提升的启发

作者:Ibtihel Amara, Vinija Jain, Aman Chadha · 语言:en

前往原址学习

简介

我们解决了在迁移学习过程中，当预训练语言模型（PLMs）的下游数据有限时，出现的激进微调问题。该问题主要导致后续任务性能下降。我们受到自适应提升的启发

返回教程库 · 察元AI产品家族