察元AI教程库 · 文章 · 微调

微调提升了语言模型的信息传递能力

人们普遍认为微调会降低大型语言模型中的不确定性和多样性，但现有分析忽略了输出长度这一关键混杂因素，因此未能捕捉到不确定性在整个生成流程中的分布情况。为此，我们提出了Canopy Entropy（$\

作者:Yuwei Cheng, Weiyi Tian, Haifeng Xu · 语言:en

前往原址学习

简介

人们普遍认为微调会降低大型语言模型中的不确定性和多样性，但现有分析忽略了输出长度这一关键混杂因素，因此未能捕捉到不确定性在整个生成流程中的分布情况。为此，我们提出了Canopy Entropy（$\

返回教程库 · 察元AI产品家族