察元AI教程库 · 文章 · 微调
大语言模型在少样本场景下表现出卓越的性能,但其性能对少样本实例的选择非常敏感。我们提出PATRON,一种新的方法,利用基于提示的不确定性估计来进行数据选择,用于在冷启动条件下对预训练语言模型进行微调,以提升微调效果
作者:Yue Yu, Rongzhi Zhang, Ran Xu · 语言:en
大语言模型在少样本场景下表现出卓越的性能,但其性能对少样本实例的选择非常敏感。我们提出PATRON,一种新的方法,利用基于提示的不确定性估计来进行数据选择,用于在冷启动条件下对预训练语言模型进行微调,以提升微调效果