察元AI教程库 · 文章 · 微调

通过自集成和自蒸馏改进BERT微调

对预训练语言模型(如BERT)进行微调已成为自然语言处理(NLP)中的有效方法,并在许多下游任务上取得了最先进的成果。最近关于适应BERT到新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据方面。

作者:Yige Xu, Xipeng Qiu, Ligao Zhou · 语言:en

前往原址学习

简介

对预训练语言模型(如BERT)进行微调已成为自然语言处理(NLP)中的有效方法,并在许多下游任务上取得了最先进的成果。最近关于适应BERT到新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据方面。

返回教程库 · 察元AI产品家族