察元AI教程库 · 文章 · 部署

LO-BCQ:用于4位(W4A4)语言模型推理的块聚类量化

后训练量化(PTQ)是一种有前景的减少大型语言模型(LLMs)存储和计算需求的方法,且无需额外训练成本。近期的PTQ研究主要集中在将权重量化到子8位,而激活值保持在8位

作者:Reena Elangovan, Charbel Sakr, Anand Raghunathan · 语言:en

前往原址学习

简介

后训练量化(PTQ)是一种有前景的减少大型语言模型(LLMs)存储和计算需求的方法,且无需额外训练成本。近期的PTQ研究主要集中在将权重量化到子8位,而激活值保持在8位

返回教程库 · 察元AI产品家族