察元AI教程库 · 文章 · 微调

BitFit：基于Transformer掩码语言模型的简单参数高效微调

我们引入了BitFit，一种稀疏微调方法，仅修改模型中的偏置项（或其子集）。我们证明，在小到中等规模的训练数据下，对预训练的BERT模型应用BitFit，其性能与（甚至优于）对整个模型进行微调相当。F

作者:Elad Ben-Zaken, Shauli Ravfogel, Yoav Goldberg · 语言:en

简介