察元AI教程库 · 文章 · 大模型

大型语言模型预训练中隐藏层蒸馏的研究

知识蒸馏（KD）是训练大型语言模型（LLMs）的关键工具，但大多数研究仅关注仅依赖输出logits的方法，忽视了教师模型中间表示中的语义信息。而隐藏层蒸馏（HLD）虽然

作者:Maxime Guigon, Lucas Dixon, Michaël E. Sander · 语言:en

前往原址学习

简介

知识蒸馏（KD）是训练大型语言模型（LLMs）的关键工具，但大多数研究仅关注仅依赖输出logits的方法，忽视了教师模型中间表示中的语义信息。而隐藏层蒸馏（HLD）虽然

返回教程库 · 察元AI产品家族