察元AI教程库 · 文章 · 大模型

用于变换器的已学习令牌剪枝

在实际部署变换模型时，由于其推理成本随输入序列长度的平方增长，存在挑战。为此，我们提出了一种新颖的学得的标记剪枝（LTP）方法，该方法在输入序列通过变换器时，自适应地移除不重要的标记

作者:Sehoon Kim, Sheng Shen, David Thorsley · 语言:en

前往原址学习

简介

在实际部署变换模型时，由于其推理成本随输入序列长度的平方增长，存在挑战。为此，我们提出了一种新颖的学得的标记剪枝（LTP）方法，该方法在输入序列通过变换器时，自适应地移除不重要的标记

返回教程库 · 察元AI产品家族