察元AI教程库 · 文章 · 部署

WiSparse：通过权重感知的混合激活稀疏性提升LLM推理效率

大型语言模型（LLMs）具备强大能力，但因密集计算和内存访问而产生高昂的推理成本。训练自由的激活稀疏性是一种有前景的高效LLM推理方法，但现有方法通常仅依赖激活信息和均匀稀疏性

作者:Lei Chen, Yuan Meng, Xiaoyu Zhan · 语言:en

简介