察元AI教程库 · 文章 · 部署

SharQ：结合激活稀疏性和FP4量化用于LLM推理

现代加速器越来越多地支持低比特浮点格式和半结构稀疏性，但将这些技术结合用于LLM激活压缩仍面临挑战：激活值包含依赖输入的异常值，这些异常值在FP4量化中主导了块尺度，直接应用N:M

作者:Haoqian Meng, Yilun Luo, Yafei Zhao · 语言:en

简介