察元AI教程库 · 文章 · 大模型

基于Transformer的线性注意力及其优化的GPU内核实现

在非常成功的Transformer架构中，基于softmax的原始注意力机制（常规注意力）在N个标记之间计算注意力，每个标记嵌入在D维的头部中，时间复杂度为O(N²D)。鉴于Transformer的成功，改进其运行效率

作者:Armin Gerami, Ramani Duraiswami · 语言:en

简介