察元AI教程库 · 文章 · 微调

从NTK视角理解线性探针后语言模型的微调

两阶段微调（FT）方法，即线性探针（LP）后接微调（LP-FT），在分布内（ID）和分布外（OOD）数据上均优于线性探针和单独微调。其成功的关键在于保留了预训练特征，通过获取中间层表示实现。

作者:Akiyoshi Tomihari, Issei Sato · 语言:en

前往原址学习

简介

两阶段微调（FT）方法，即线性探针（LP）后接微调（LP-FT），在分布内（ID）和分布外（OOD）数据上均优于线性探针和单独微调。其成功的关键在于保留了预训练特征，通过获取中间层表示实现。

返回教程库 · 察元AI产品家族