察元AI教程库 · 文章 · 微调

艾尔萨会怎么做？在Transformer微调过程中冻结层

基于Transformer的预训练语言模型在自然语言处理的众多任务中达到了顶尖水平。这些模型表达能力强，包含至少上亿参数和数十层。最新研究表明，仅模型的最终几层需要被特别关注。

作者:Jaejun Lee, Raphael Tang, Jimmy Lin · 语言:en

简介