察元AI教程库 · 文章 · 微调

IsoBN：使用各向同性批归一化微调BERT

微调预训练的语言模型（PTLMs），如BERT及其改进版本RoBERTa，已成为自然语言理解（NLU）任务中提升性能的常见做法。最近的表示学习进展表明，各向同性（即单位方差且不相关）嵌入

作者:Wenxuan Zhou, Bill Yuchen Lin, Xiang Ren · 语言:en

前往原址学习

简介

微调预训练的语言模型（PTLMs），如BERT及其改进版本RoBERTa，已成为自然语言理解（NLU）任务中提升性能的常见做法。最近的表示学习进展表明，各向同性（即单位方差且不相关）嵌入

返回教程库 · 察元AI产品家族