察元AI教程库 · 文章 · 大模型

BP-Transformer：通过二进制分区建模长程上下文

Transformer模型在许多自然语言处理任务中表现优异，但自注意力的二次复杂度限制了其在长文本上的应用。本文提出了一种细到粗的注意力机制，通过二进制划分（BP）在多尺度跨度上进行优化，我们提出了BP-

作者:Zihao Ye, Qipeng Guo, Quan Gan · 语言:en

前往原址学习

简介

Transformer模型在许多自然语言处理任务中表现优异，但自注意力的二次复杂度限制了其在长文本上的应用。本文提出了一种细到粗的注意力机制，通过二进制划分（BP）在多尺度跨度上进行优化，我们提出了BP-

返回教程库 · 察元AI产品家族