察元AI教程库 · 文章 · 大模型

高效Transformer中的稀疏令牌路由

高效Transformer研究通常以“并非所有token都需要同等计算成本”为理由，提出进行token剪枝和自适应计算。我们使用SEWN（双流Transformer）进行端到端测试，该模型将token路由到轻量级或全容量处理路径中

作者:Sai Krishna Arthanari, JaeHyeong Chang, Chengzhe Sun · 语言:en

简介