察元AI教程库 · 文章 · 部署

减少矩阵乘法：一种输入自适应的矩阵积减少方法用于LLM推理

基于Transformer的语言模型表现优异，但因重复的高维矩阵乘法而产生巨大的推理开销。我们提出了一种无需训练、输入自适应的推理方法——减少矩阵乘法（RMM），该方法通过选择性地减少Transformer矩阵乘积来

作者:Zixuan Lan, Yanhong Li, Jiawei Zhou · 语言:en

简介