察元AI教程库 · 文章 · 大模型

在稀疏 Transformer 架构中使用关键词检测进行全局注意力的扩展设计

本文提出了一种对Longformer Encoder-Decoder的扩展，这是一种流行的稀疏Transformer架构。稀疏Transformer的一个常见挑战是它们在处理长距离上下文时表现不佳，例如文档开头和结尾之间主题的关联

作者:Evan Lucas, Dylan Kangas, Timothy C Havens · 语言:en

简介