察元AI教程库 · 文章 · 大模型

Smart Bird：一种可学习的稀疏注意力，用于高效且有效的Transformer

Transformer在自然语言处理（NLP）中取得了巨大成功。然而，Transformer中的自注意力机制具有二次复杂度，使其在处理长序列时效率低下。许多现有工作探索通过计算稀疏自注意力而不是密集自注意力来加速Transformer，这通常

作者:Chuhan Wu, Fangzhao Wu, Tao Qi · 语言:en

简介