察元AI教程库 · 文章 · 部署

FlashQuant：面向内存高效的异常感知大语言模型（LLM）推理的稀疏-密集融合

低比特量化降低了大型语言模型（LLM）推理的内存占用和计算成本。然而，高幅值的异常权重会引发显著的量化误差，降低模型精度。异常感知量化通过保留高幅值的异常权重来解决此问题。

作者:Junqing Lin, Jingwei Sun, Zhengding Hu · 语言:en

前往原址学习

简介

低比特量化降低了大型语言模型（LLM）推理的内存占用和计算成本。然而，高幅值的异常权重会引发显著的量化误差，降低模型精度。异常感知量化通过保留高幅值的异常权重来解决此问题。

返回教程库 · 察元AI产品家族