察元AI教程库 · 文章 · 大模型

通过动态可组合的多头注意力改进Transformer

多头注意力（MHA）是Transformer的关键组成部分。在MHA中，各个注意力头独立工作，导致注意力分数矩阵的低秩瓶颈和头冗余问题。我们提出了一种动态可组合多头注意力（DCMHA），一种参数和计算效率更高的方法

作者:Da Xiao, Qingye Meng, Shengping Li · 语言:en

简介