察元AI教程库 · 文章 · 大模型

Longformer：长文档Transformer

基于Transformer的模型由于其自注意力机制，无法处理长序列，因为该机制随序列长度呈二次增长。为解决这一限制，我们引入了Longformer，其注意力机制随序列长度呈线性增长，从而使得处理长序列变得容易

作者:Iz Beltagy, Matthew E. Peters, Arman Cohan · 语言:en

简介