察元AI教程库 · 文章 · 部署

ITQ3_S：通过交错三比特量化与域旋转平滑实现高保真度的3比特LLM推理

我们提出了ITQ3_S（交错三进制量化—专用）这一新型3位权重量化格式，用于LLMs，结合了TurboQuant（TQ），一种基于快速瓦尔什-哈达玛变换（FWHT）的旋转域策略。传统3位方法由于权重分布呈重尾特性，导致精度损失

作者:Edward J. Yoon · 语言:en

前往原址学习

简介

我们提出了ITQ3_S（交错三进制量化—专用）这一新型3位权重量化格式，用于LLMs，结合了TurboQuant（TQ），一种基于快速瓦尔什-哈达玛变换（FWHT）的旋转域策略。传统3位方法由于权重分布呈重尾特性，导致精度损失

返回教程库 · 察元AI产品家族