察元AI教程库 · 文章 · 大模型

从大语言模型视角重新思考数据混合

数据混合策略对大型语言模型(LLM)的训练至关重要。实证研究表明,不当的策略会显著降低模型的泛化能力。尽管近期方法在实证性能上有所提升,但若干基础问题仍待解决:什么构成一个领域

作者:Yuanjian Xu, Tianze Sun, Changwei Xu · 语言:en

前往原址学习

简介

数据混合策略对大型语言模型(LLM)的训练至关重要。实证研究表明,不当的策略会显著降低模型的泛化能力。尽管近期方法在实证性能上有所提升,但若干基础问题仍待解决:什么构成一个领域

返回教程库 · 察元AI产品家族