察元AI教程库 · 文章 · 大模型

面向大语言模型蒸馏的多样性感知反Kullback-Leibler散度

最近，反Kullback-Leibler（RKL）散度作为大型语言模型（LLM）蒸馏的首选目标逐渐兴起，持续优于前向KL（FKL），特别是在词汇量大且教师-学生能力差异显著的场景中，RKL专注于

作者:Hoang-Chau Luong, Dat Ba Tran, Lingwei Chen · 语言:en

前往原址学习

简介

最近，反Kullback-Leibler（RKL）散度作为大型语言模型（LLM）蒸馏的首选目标逐渐兴起，持续优于前向KL（FKL），特别是在词汇量大且教师-学生能力差异显著的场景中，RKL专注于

返回教程库 · 察元AI产品家族