察元AI教程库 · 文章 · 大模型

长距离变换器的语言任务有效性

由于Transformer模型在长序列上的O(N²)时间与空间复杂度，难以扩展到长序列。这促使了诸如Longformer和Performer等变体的出现，旨在降低计算复杂度。尽管这些模型在理论上更高效，但在实际应用中的

作者:Guanghui Qin, Yukun Feng, Benjamin Van Durme · 语言:en

简介