察元AI教程库 · 文章 · 部署

Qift：一种适用于移位的、无零值W2后训练量化方法，用于旋转W2A4/KV4 LLM推理

两比特权重量化对内存高效的LLM推理具有吸引力，但标准的W2级别集合{-2,-1,0,+1}在激进的W2A4/KV4设置下常常崩溃。我们研究了在Hadamard旋转量化流程中两比特权重的标量级别集合几何结构。传统非对称

作者:Chi-Wei Huang, Chia-Chi Tsai · 语言:en

前往原址学习

简介

两比特权重量化对内存高效的LLM推理具有吸引力，但标准的W2级别集合{-2,-1,0,+1}在激进的W2A4/KV4设置下常常崩溃。我们研究了在Hadamard旋转量化流程中两比特权重的标量级别集合几何结构。传统非对称

返回教程库 · 察元AI产品家族