察元AI教程库 · 文章 · 大模型

SwitchHead：通过专家混合注意力加速Transformer

尽管近年来有许多关于专家混合（MoE）用于资源高效的Transformer语言模型的研究，但现有方法大多集中在MoE用于前馈层。以往尝试将MoE扩展到自注意力层的尝试未能达到与参数匹配基线相匹配的性能。我们的

作者:Róbert Csordás, Piotr Piękos, Kazuki Irie · 语言:en

简介