察元AI教程库 · 文章 · 排行榜

用于语言模型蒸馏的跨分词器似然评分算法

在两个语言模型（LMs）之间计算下一个token似然比是知识蒸馏等训练范式中的标准任务。由于这需要两个模型共享相同的概率空间，当教师和学生LM使用不同的分词器时，这一过程变得具有挑战性

作者:Buu Phan, Ashish Khisti, Karen Ullrich · 语言:en

简介