察元AI教程库 · 文章 · 大模型

通过自监督早期退出加速大语言模型推理

本文提出了一种模块化方法，通过在变换器层间的中间层添加早期退出头来加速大型语言模型（LLMs）的推理过程。每个头以自监督方式训练，以模仿主模型的预测，当经过校准的阈值被满足时，计算过程可以提前终止

作者:Florian Valade · 语言:en

简介