察元AI教程库 · 文章 · 大模型

重新思考大型语言模型蒸馏：一种受限马尔可夫决策过程视角

我们提出了一种新颖的大型语言模型（LLM）蒸馏方法，将其表述为一个受限的强化学习问题。尽管近期研究开始探索将特定任务奖励整合到蒸馏过程中，但现有方法通常依赖于随意的奖励权重

作者:Matthieu Zimmer, Xiaotong Ji, Tu Nguyen · 语言:en

简介