察元AI教程库 · 文章 · 微调

微调发生在微小子空间中：探索预训练语言模型的内在任务特定子空间

预训练语言模型（PLMs）已知参数过多且存在显著冗余，表明PLMs具有较小的自由度。受此观察启发，本文从新角度研究了PLMs的重参数化和微调问题：即发现

作者:Zhong Zhang, Bang Liu, Junming Shao · 语言:en

前往原址学习

简介

预训练语言模型（PLMs）已知参数过多且存在显著冗余，表明PLMs具有较小的自由度。受此观察启发，本文从新角度研究了PLMs的重参数化和微调问题：即发现

返回教程库 · 察元AI产品家族