察元AI教程库 · 文章 · 大模型
长上下文理解对许多自然语言处理（NLP）应用至关重要，但Transformer由于自注意力的二次复杂度而面临效率问题。稀疏注意力方法缓解了这一成本，但通常采用静态、预定义的掩码，无法捕捉异构的注意力模式。
作者:Hanzhi Zhang, Heng Fan, Kewei Sha · 语言:en
长上下文理解对许多自然语言处理（NLP）应用至关重要，但Transformer由于自注意力的二次复杂度而面临效率问题。稀疏注意力方法缓解了这一成本，但通常采用静态、预定义的掩码，无法捕捉异构的注意力模式。