察元AI教程库 · 文章 · 大模型

切换注意力：迈向动态且细粒度的混合变换器

注意力机制是现代Transformer架构的核心组成部分。然而，标准全注意力的计算随序列长度呈二次增长，成为长上下文语言建模的主要瓶颈。滑动窗口注意力限制了上下文

作者:Yusheng Zhao, Hourun Li, Bohan Wu · 语言:en

前往原址学习

简介

注意力机制是现代Transformer架构的核心组成部分。然而，标准全注意力的计算随序列长度呈二次增长，成为长上下文语言建模的主要瓶颈。滑动窗口注意力限制了上下文

返回教程库 · 察元AI产品家族