察元AI教程库 · 文章 · 微调

BERT的疗愈之力：任务特定微调如何恢复受损的语言模型

像BERT这样的语言模型由于在通用数据上进行了广泛预训练，擅长句子分类任务，但其对参数破坏的鲁棒性尚未被研究。为了更好地理解这一点，我们研究了当一个语言模型“被破坏”时的情况，即其部分参数被

作者:Shijie Han, Zhenyu Zhang, Andrei Arsene Simion · 语言:en

简介