察元AI教程库 · 文章 · 大模型
线性Transformer旨在降低标准Transformer的二次空间和时间复杂度。然而，它们通常在各种任务和语料库上表现下降。本文我们考察了现有的基于核的线性Transformer，并识别出导致这些性能下降的两个关键问题。
作者:Zhen Qin, XiaoDong Han, Weixuan Sun · 语言:en
线性Transformer旨在降低标准Transformer的二次空间和时间复杂度。然而，它们通常在各种任务和语料库上表现下降。本文我们考察了现有的基于核的线性Transformer，并识别出导致这些性能下降的两个关键问题。