察元AI教程库 · 文章 · 部署

APEX4：通过SM内计算再平衡实现高效纯W4A4 LLM推理

W4A4量化有望充分利用INT4张量核心，但CUDA核心上的分组去量化开销导致现有系统采用混合精度回退。我们首次系统性研究了SM内计算平衡如何决定这一瓶颈。通过受控基准测试

作者:Hong Guo, Nianhui Guo, Weixing Wang · 语言:en

前往原址学习

简介

W4A4量化有望充分利用INT4张量核心，但CUDA核心上的分组去量化开销导致现有系统采用混合精度回退。我们首次系统性研究了SM内计算平衡如何决定这一瓶颈。通过受控基准测试

返回教程库 · 察元AI产品家族