察元AI教程库 · 文章 · 大模型

基于查询引导的稀疏Transformer进行长文档排序

Transformer自注意力的计算成本通常需要将长文档分割以适应预训练模型中的文档排序任务。本文我们设计了一种查询引导的稀疏注意力，它在Transformer自注意力中引入了信息检索-公理结构。我们的模型QDS-Transformer，

作者:Jyun-Yu Jiang, Chenyan Xiong, Chia-Jung Lee · 语言:en

简介