察元AI教程库 · 文章 · 部署

BlockDialect:基于块的细粒度混合格式量化,用于节能的LLM推理

大型语言模型(LLMs)规模的迅速增长在内存使用和计算成本方面带来了重大挑战。对权重和激活值进行量化可以解决这些问题,硬件支持的细粒度缩放正成为一种有前景的解决方案,以缓解异常情况。H

作者:Wonsuk Jang, Thierry Tambe · 语言:en

前往原址学习

简介

大型语言模型(LLMs)规模的迅速增长在内存使用和计算成本方面带来了重大挑战。对权重和激活值进行量化可以解决这些问题,硬件支持的细粒度缩放正成为一种有前景的解决方案,以缓解异常情况。H

返回教程库 · 察元AI产品家族