察元AI教程库 · 文章 · 大模型

SRA ：大型语言模型蒸馏的跨度表示对齐

跨分词器知识蒸馏（CTKD）能够在大型语言模型和小型学生模型之间实现知识迁移，即使它们使用不同的分词器。尽管现有方法主要关注分词级别对齐策略，但这些策略往往脆弱且对差异敏感

作者:Quoc Phong Dao, Hoang Son Nguyen, Pham Khanh Chi · 语言:en

简介