察元AI教程库 · 文章 · 微调
对预训练语言模型(如BERT)进行微调已成为自然语言处理(NLP)中的有效方法,并在许多下游任务上取得了最先进的成果。最近关于适应BERT到新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据方面。
作者:Yige Xu, Xipeng Qiu, Ligao Zhou · 语言:en
对预训练语言模型(如BERT)进行微调已成为自然语言处理(NLP)中的有效方法,并在许多下游任务上取得了最先进的成果。最近关于适应BERT到新任务的研究主要集中在修改模型结构、重新设计预训练任务以及利用外部数据方面。