察元AI教程库 · 文章 · 大模型
知识蒸馏是压缩大型语言模型（LLMs）的关键技术，但现有方法大多在固定层或token级输出上对齐表示，忽略了表示在深度上的演变过程。因此，学生模型只能弱化地引导以捕捉教师模型的表示。
作者:Pham Khanh Chi, Quoc Phong Dao, Thuat Nguyen · 语言:en
知识蒸馏是压缩大型语言模型（LLMs）的关键技术，但现有方法大多在固定层或token级输出上对齐表示，忽略了表示在深度上的演变过程。因此，学生模型只能弱化地引导以捕捉教师模型的表示。