察元AI教程库 · 文章 · 微调

利用选择性掩码作为预训练与微调之间的桥梁

预训练语言模型，然后针对下游任务进行微调，已经证明在各种NLP任务中达到了最先进的结果。预训练通常与下游任务无关，以往的研究表明，仅靠预训练可能不足以捕捉任务的特征

作者:Tanish Lad, Himanshu Maheshwari, Shreyas Kottukkal · 语言:en

简介