察元AI教程库 · 文章 · 大模型

DeFormer：通过分解预训练Transformer以实现更快的问答

基于Transformer的问答模型在所有层中都使用输入范围的自注意力——即在问题和输入段落之间——这导致它们运行缓慢且内存消耗大。实际上，我们可以在所有层中无需输入范围的自注意力，尤其是在较低层中。我们引入

作者:Qingqing Cao, Harsh Trivedi, Aruna Balasubramanian · 语言:en

简介