察元AI教程库 · 文章 · 大模型

Lion：通过对抗性蒸馏对专有大型语言模型进行优化

将复杂专有大型语言模型（LLM）的知识转移到小型、开源的LLM的实践已受到广泛关注。以往的研究主要集中在单向知识蒸馏方法上，通过将学生模型的响应与教师模型的响应对齐来实现

作者:Yuxin Jiang, Chunkit Chan, Mingyang Chen · 语言:en

简介