察元AI教程库 · 文章 · 微调

面向低资源场景的鲁棒微调:多视图压缩表示

由于参数数量巨大,预训练语言模型(PLMs)的微调在低资源场景下容易出现过拟合。在本研究中,我们提出了一种新颖方法,该方法在PLM的隐藏表示上操作,以减少过拟合。在微调过程中,我们的方法插入了随机

作者:Linlin Liu, Xingxuan Li, Megh Thakkar · 语言:en

前往原址学习

简介

由于参数数量巨大,预训练语言模型(PLMs)的微调在低资源场景下容易出现过拟合。在本研究中,我们提出了一种新颖方法,该方法在PLM的隐藏表示上操作,以减少过拟合。在微调过程中,我们的方法插入了随机

返回教程库 · 察元AI产品家族