察元AI教程库 · 文章 · 多模态

QAPruner:面向多模态大语言模型的量化感知视觉令牌剪枝

多模态大语言模型(MLLMs)展现出强大的推理能力,但其高昂的计算和内存成本阻碍了在资源受限环境下的部署。尽管后训练量化(PTQ)和视觉令牌剪枝是标准的压缩技术,但它们通常

作者:Xinhao Wang, Zhonyu Xia, Zhiwei Lin · 语言:en

前往原址学习

简介

多模态大语言模型(MLLMs)展现出强大的推理能力,但其高昂的计算和内存成本阻碍了在资源受限环境下的部署。尽管后训练量化(PTQ)和视觉令牌剪枝是标准的压缩技术,但它们通常

返回教程库 · 察元AI产品家族