察元AI教程库 · 文章 · 部署

XFP：基于质量目标的自适应码本量化与稀疏异常分离，用于LLM推理

我们引入了XFP，一种用于LLM推理的动态权重量化器，它反转了传统流程：操作员为每通道余弦相似度指定重建质量下限（注意力和共享专家一个严格下限，路由专家MoE一个宽松下限）；XFP决定编码

作者:Thomas Witt · 语言:en

简介