察元AI教程库 · 文章 · 部署

MXSens：基于敏感度的混合精度量化用于高效LLM推理

4位量化能够实现高效的LLM推理，但因异常值导致精度显著下降。先前的工作通过数据旋转或混合精度整数量化来解决此问题，但通常依赖软件管理的缩放和频繁的去量化，带来

作者:Simla Burcu Harma, Danila Mishin, Zhengyuan Su · 语言:en

简介