察元AI教程库 · 文章 · 大模型

ASER：大型语言模型量化中的激活平滑与错误重建

量化是大型语言模型（LLM）服务中的关键技术，但在实现有效低比特量化方面仍面临重大挑战。有限的数值映射使得量化模型产生非微小的误差，导致性能下降，难以接受

作者:Weibo Zhao, Yubin Shi, Xinyu Lyu · 语言:en

前往原址学习

简介

量化是大型语言模型（LLM）服务中的关键技术，但在实现有效低比特量化方面仍面临重大挑战。有限的数值映射使得量化模型产生非微小的误差，导致性能下降，难以接受

返回教程库 · 察元AI产品家族