察元AI教程库 · 文章 · 大模型

大语言模型中的知识蒸馏

知识蒸馏（KD）是一种广泛采用的方法，用于压缩大型神经网络，通过将大型教师模型的知识转移到小型学生模型中。在大型语言模型的背景下，基于令牌级别的KD，通常最小化学生模型输出分布与教师模型输出分布之间的KL散度

作者:Yihan Cao, Yanbin Kang, Zhengming Xing · 语言:en

简介