察元AI教程库 · 文章 · 微调

通过自适应优化子网络有效微调预训练的语言模型

近年来，大规模预训练语言模型在广泛的下游任务上取得了令人印象深刻的结果。然而，在有限目标数据集上微调一个极其大规模的预训练语言模型时，通常会面临过拟合和表示退化的问题。本文...

作者:Haojie Zhang, Ge Li, Jia Li · 语言:en

简介