察元AI教程库 · 文章 · 大模型
知识蒸馏（KD）是一种广泛用于模型压缩的方法，通过将教师模型的知识转移到轻量级模型中，以增强其能力。特别是，在Transformer编码器（如BERT）的量化感知训练（QAT）中，KD被用来提升模型性能。
作者:Minsoo Kim, Sihwa Lee, Sukjin Hong · 语言:en
知识蒸馏（KD）是一种广泛用于模型压缩的方法，通过将教师模型的知识转移到轻量级模型中，以增强其能力。特别是，在Transformer编码器（如BERT）的量化感知训练（QAT）中，KD被用来提升模型性能。