察元AI教程库 · 文章 · 大模型

重新审视大语言模型训练中下游指标的缩放特性

尽管大型语言语言模型（LLMs）的传统缩放定律通常关注预训练损失等代理指标，但预测下游任务性能一直被认为不可靠。本文通过提出一个直接框架，从基准性能角度建模LLM的缩放规律来挑战这一观点

作者:Jakub Krajewski, Amitis Shidani, Dan Busbridge · 语言:en

简介