察元AI教程库 · 文章 · 微调

针对小样本语言模型微调的冷启动数据选择:一种基于提示的不确定性传播方法

大语言模型在少样本场景下表现出卓越的性能,但其性能对少样本实例的选择非常敏感。我们提出PATRON,一种新的方法,利用基于提示的不确定性估计来进行数据选择,用于在冷启动条件下对预训练语言模型进行微调,以提升微调效果

作者:Yue Yu, Rongzhi Zhang, Ran Xu · 语言:en

前往原址学习

简介

大语言模型在少样本场景下表现出卓越的性能,但其性能对少样本实例的选择非常敏感。我们提出PATRON,一种新的方法,利用基于提示的不确定性估计来进行数据选择,用于在冷启动条件下对预训练语言模型进行微调,以提升微调效果

返回教程库 · 察元AI产品家族