察元AI教程库 · 文章 · 多模态

MASQuant:多模态大语言模型的模态感知平滑量化

在大语言模型(LLMs)中,后训练量化(PTQ)结合计算不变性已取得显著进展,然而其在多模态大语言模型(MLLMs)中的应用仍面临重大挑战。本文以SmoothQuant为例进行案例研究,并

作者:Lulu Hu, Wenhu Xiao, Xin Chen · 语言:en

前往原址学习

简介

在大语言模型(LLMs)中,后训练量化(PTQ)结合计算不变性已取得显著进展,然而其在多模态大语言模型(MLLMs)中的应用仍面临重大挑战。本文以SmoothQuant为例进行案例研究,并

返回教程库 · 察元AI产品家族