察元AI教程库 · 文章 · 部署

PolyQ：面向可扩展边缘CPU LLM推理的端到端量化联合设计框架

CPU是设备端LLM推理最通用的目标，但现有的低比特量化方法要么提供粗粒度的操作点，要么提供细粒度的混合精度，但这些方法在CPU上难以高效执行。我们提出了PolyQ，一种面向CPU的编译/量化协同设计，用于激活

作者:Hyunwoo Oh, Suyeon Jang, Hanning Chen · 语言:en

简介