察元AI教程库 · 文章 · 大模型

ReAD：基于强化引导的能力蒸馏用于大型语言模型

能力蒸馏将知识蒸馏应用于选定的模型能力，旨在将大型语言模型（LLM）压缩成更小的模型，同时保留完成下游任务所需的能力。然而，大多数现有方法将能力视为独立的训练目标，缺乏整体优化。

作者:Xueqi Cheng, Xugui Zhou, Tyler Derr · 语言:en

前往原址学习

简介

能力蒸馏将知识蒸馏应用于选定的模型能力，旨在将大型语言模型（LLM）压缩成更小的模型，同时保留完成下游任务所需的能力。然而，大多数现有方法将能力视为独立的训练目标，缺乏整体优化。

返回教程库 · 察元AI产品家族