察元AI教程库 · 文章 · 微调

过训练的语言模型更难进行微调

大型语言模型在不断增长的token预算上进行预训练，假设更好的预训练性能会转化为更好的下游模型。本研究挑战这一假设，表明扩展预训练会使模型更难微调，导致性能下降

作者:Jacob Mitchell Springer, Sachin Goyal, Kaiyue Wen · 语言:en

前往原址学习

简介

大型语言模型在不断增长的token预算上进行预训练，假设更好的预训练性能会转化为更好的下游模型。本研究挑战这一假设，表明扩展预训练会使模型更难微调，导致性能下降

返回教程库 · 察元AI产品家族