察元AI教程库 · 文章 · 大模型
本研究探讨了通过结合模型压缩技术和一种新型的替代注意力机制——抑制注意力，来优化基于Transformer的语言模型。抑制注意力采用曼哈顿距离和ReLU激活，替代了传统的矩阵乘法和softmax激活。
作者:Tony Zhang, Rickard Brännvall · 语言:en
本研究探讨了通过结合模型压缩技术和一种新型的替代注意力机制——抑制注意力，来优化基于Transformer的语言模型。抑制注意力采用曼哈顿距离和ReLU激活，替代了传统的矩阵乘法和softmax激活。