察元AI教程库 · 文章 · 大模型

代码推理的山谷：大语言模型知识蒸馏的扩展

将具有推理能力的大型语言模型（LLM）的思维轨迹提炼成一个更小的模型已被证明是有效的。然而，关于模型性能随蒸馏数据量增长的扩展研究仍较少。本文研究了蒸馏数据量增长趋势...

作者:Muyu He, Muhammad Ali Shafique, Anand Kumar · 语言:en

简介