察元AI教程库 · 文章 · 大模型

仿射缩放注意力：迈向灵活且稳定的变换器注意力

变换器注意力通常通过softmax归一化实现，这强制注意力权重具有单位和归一化。虽然在许多场景中有效，但这一约束可能限制对注意力强度的控制灵活性，可能导致过度集中或不稳定

作者:Jeongin Bae, Baeseong Park, Gunho Park · 语言:en

简介