察元AI教程库 · 文章 · 大模型

大语言模型蒸馏的量化研究

模型蒸馏是构建大型语言模型（LLMs）的基本技术，通过将教师模型的知识转移到学生模型中。然而，蒸馏可能导致模型同质化，降低模型间的多样性，削弱其处理复杂或无明确答案问题的鲁棒性

作者:Sunbowen Lee, Junting Zhou, Chang Ao · 语言:en

前往原址学习

简介

模型蒸馏是构建大型语言模型（LLMs）的基本技术，通过将教师模型的知识转移到学生模型中。然而，蒸馏可能导致模型同质化，降低模型间的多样性，削弱其处理复杂或无明确答案问题的鲁棒性

返回教程库 · 察元AI产品家族