察元AI教程库 · 文章 · 微调

通过先前小批量进行动态自蒸馏以微调小型语言模型

知识蒸馏（KD）已成为压缩大型语言模型（LLMs）以降低计算成本和内存占用的广泛采用方法。然而，大多数KD流程都需要复杂的教师模型，因此传统KD流程

作者:Yao Fu, Yin Yu, Xiaotian Han · 语言:en

前往原址学习

简介

知识蒸馏（KD）已成为压缩大型语言模型（LLMs）以降低计算成本和内存占用的广泛采用方法。然而，大多数KD流程都需要复杂的教师模型，因此传统KD流程

返回教程库 · 察元AI产品家族