察元AI教程库 · 文章 · 大模型

面向高效Transformer推理的约束感知与排序蒸馏的token剪枝

在资源受限的场景下，将预训练的Transformer模型（如BERT）部署到下游任务中面临挑战，因为其推理成本很高，且随着输入序列长度的增加而迅速增长。本文我们提出了一种约束感知且基于排序蒸馏的标记剪枝方法ToP，

作者:Junyan Li, Li Lyna Zhang, Jiahang Xu · 语言:en

简介