察元AI教程库 · 文章 · 大模型

大语言模型蒸馏的多粒度语义修订

知识蒸馏在压缩大型语言模型（LLMs）中起着关键作用，通过大型教师模型的指导，提升小型学生模型的性能。然而，现有的LLM蒸馏方法过度依赖学生生成的输出，可能导致生成错误和误导

作者:Xiaoyu Liu, Yun Zhang, Wei Li · 语言:en

前往原址学习

简介

知识蒸馏在压缩大型语言模型（LLMs）中起着关键作用，通过大型教师模型的指导，提升小型学生模型的性能。然而，现有的LLM蒸馏方法过度依赖学生生成的输出，可能导致生成错误和误导

返回教程库 · 察元AI产品家族