察元AI教程库 · 文章 · 微调

RepCali:通过潜在空间表示校准实现预训练语言模型高效微调

对预训练语言模型(PLMs)进行微调已成为将PLMs应用于下游任务的主流范式。然而,在有限微调的情况下,PLMs仍难以解决PLMs编码器获取的表示与PLMs解码器最优输入之间的差异问题。

作者:Fujun Zhang, Xiaoying Fan, XiangDong Su · 语言:en

前往原址学习

简介

对预训练语言模型(PLMs)进行微调已成为将PLMs应用于下游任务的主流范式。然而,在有限微调的情况下,PLMs仍难以解决PLMs编码器获取的表示与PLMs解码器最优输入之间的差异问题。

返回教程库 · 察元AI产品家族