察元AI教程库 · 文章 · 部署

面向低比特LLM推理的异构感知微缩策略

微缩化（MX）已成为低比特大语言模型（LLM）推理的标准。其4比特形式MXFP4仍存在显著的精度损失，因为现有的MX格式在块内固定了元素格式或精度恢复方案，从而仅捕获有限的量化异构

作者:Junyi Luo, Xinting Jiang, Tai-Hao Wen · 语言:en

前往原址学习

简介

微缩化（MX）已成为低比特大语言模型（LLM）推理的标准。其4比特形式MXFP4仍存在显著的精度损失，因为现有的MX格式在块内固定了元素格式或精度恢复方案，从而仅捕获有限的量化异构

返回教程库 · 察元AI产品家族