察元AI教程库 · 文章 · 部署

大型语言模型推理的二维早期退出优化

我们引入了一种二维（2D）的早期退出策略，用于协调大语言模型中逐层和逐句的退出机制，用于分类任务。通过增量式地逐句处理输入，逐步激活深层层，我们的方法实现了乘法性的性能提升。

作者:Jan Hůla, David Adamczyk, Tomáš Filip · 语言:en

简介