察元AI教程库 · 文章 · 大模型

Reformer：高效的Transformer

大型Transformer模型在多个任务上通常能取得最先进的成果，但训练这些模型成本高昂，尤其是在长序列上。我们引入了两种技术来提高Transformer的效率。首先，我们用一种替代点积注意力的注意力机制来

作者:Nikita Kitaev, Łukasz Kaiser, Anselm Levskaya · 语言:en

简介