察元AI教程库 · 文章 · 部署

ParoQuant：用于高效推理的成对旋转量化

训练后量化（PTQ）将大型语言模型（LLMs）的权重和激活压缩为低精度表示，以减少内存占用并加速推理。然而，权重和激活中存在异常值，常常导致大规模的量化误差和

作者:Yesheng Liang, Haisheng Chen, Zihan Zhang · 语言:en

前往原址学习

简介

训练后量化（PTQ）将大型语言模型（LLMs）的权重和激活压缩为低精度表示，以减少内存占用并加速推理。然而，权重和激活中存在异常值，常常导致大规模的量化误差和

返回教程库 · 察元AI产品家族