察元AI教程库 · 文章 · 大模型
线性Transformer作为一种软化注意力的亚二次时间替代方案，因其固定大小的递归状态而降低了推理成本，受到广泛关注。然而，其原始公式存在扩展性差、性能不及计算匹配的Transformer的问题
作者:Jean Mercat, Igor Vasiljevic, Sedrick Keh · 语言:en
线性Transformer作为一种软化注意力的亚二次时间替代方案，因其固定大小的递归状态而降低了推理成本，受到广泛关注。然而，其原始公式存在扩展性差、性能不及计算匹配的Transformer的问题