察元AI教程库 · 文章 · 大模型

Fovea Transformer：通过结构化的细到粗注意力实现高效长上下文建模

Transformer中自注意力的二次复杂度阻碍了长文本的处理。为解决此问题，先前的研究提出了稀疏化注意力矩阵的方法，利用观察到的：一个标记的关键信息可从其邻居中推导出来。

作者:Ziwei He, Jian Yuan, Le Zhou · 语言:en

简介