察元AI教程库 · 文章 · 部署

位移并非方向：评估量化LLM部署中的保真度指标

实践中，通常使用保真度指标（如与高精度参考相比的每token KL散度（KLD））作为低成本的基准质量代理。我们对Qwen3.6-35B-A3B的28个量化队列和Devstral-Small-2-24B的41个量化队列进行了测试，评估了多个基准

作者:Miloš Nikolić, Ali Hadi Zadeh, Enrique Torres Sanchez · 语言:en

简介