察元AI教程库 · 文章 · 大模型

何时使用高效的自注意力？对文本、语音和图像变换器变体进行剖析

我们首次对基于自注意力的Transformer变体在文本、语音和视觉领域的效率进行了统一研究，我们识别了输入长度阈值（拐点），即高效Transformer变体比传统模型更高效的临界点，通过多种效率指标进行评估

作者:Anuj Diwan, Eunsol Choi, David Harwath · 语言:en

简介