察元AI教程库 · 文章 · 大模型

选择性注意力提升Transformer

注意力上下文中的冗余元素会降低性能。我们引入了选择性注意力，这是一种无需额外参数的对标准注意力机制的简单修改，它会减少对冗余元素的关注。选择性注意力一致地提升了语言建模和下游任务的性能

作者:Yaniv Leviathan, Matan Kalman, Yossi Matias · 语言:en

简介