察元AI教程库 · 文章 · 大模型

分离搜索与训练:通过模型融合实现数据混合的可扩展性,用于大语言模型预训练

确定有效的数据混合是大型语言模型(LLM)预训练的关键因素,模型需要在通用能力与在数学和编程等困难任务上的专长之间取得平衡。然而,识别最优混合仍是一个开放性挑战,因为现有方法要么依赖

作者:Shengrui Li, Fei Zhao, Kaiyan Zhao · 语言:en

前往原址学习

简介

确定有效的数据混合是大型语言模型(LLM)预训练的关键因素,模型需要在通用能力与在数学和编程等困难任务上的专长之间取得平衡。然而,识别最优混合仍是一个开放性挑战,因为现有方法要么依赖

返回教程库 · 察元AI产品家族