察元AI教程库 · 文章 · 大模型

PLaD：基于偏好进行的大语言模型蒸馏，采用伪偏好对

大型语言模型（LLMs）在各种任务中表现出色，但其庞大的参数规模限制了其在资源受限环境中的应用。知识蒸馏（KD）提供了一个可行的解决方案，通过将大型教师模型的专长转移到紧凑的学徒模型中来实现

作者:Rongzhi Zhang, Jiaming Shen, Tianqi Liu · 语言:en

前往原址学习

简介

大型语言模型（LLMs）在各种任务中表现出色，但其庞大的参数规模限制了其在资源受限环境中的应用。知识蒸馏（KD）提供了一个可行的解决方案，通过将大型教师模型的专长转移到紧凑的学徒模型中来实现

返回教程库 · 察元AI产品家族