察元AI教程库 · 文章 · 大模型

Self-Distilled Reasoner：大型语言模型的在线自蒸馏

知识蒸馏通过将教师LLM的知识压缩到训练较小的LLM中，来提升大语言模型（LLM）的推理能力。在线蒸馏进一步推进了该方法，通过让学生采样自身轨迹，同时教师LLM提供密集的token级监督，解决了这一问题

作者:Siyan Zhao, Zhihui Xie, Mengchen Liu · 语言:en

前往原址学习

简介

知识蒸馏通过将教师LLM的知识压缩到训练较小的LLM中，来提升大语言模型（LLM）的推理能力。在线蒸馏进一步推进了该方法，通过让学生采样自身轨迹，同时教师LLM提供密集的token级监督，解决了这一问题

返回教程库 · 察元AI产品家族