察元AI教程库 · 文章 · 多模态

EntropyPrune:基于矩阵熵引导的视觉令牌剪枝方法用于多模态大语言模型

多模态大型语言模型(ML 1LMs)由于每张图像处理数百个视觉标记而产生巨大的推理成本。尽管标记剪枝已被证明能有效加速推理,但确定何时以及在何处进行剪枝仍主要依赖启发式方法。现有方法通常

作者:Yahong Wang, Juncheng Wu, Zhangkai Ni · 语言:en

前往原址学习

简介

多模态大型语言模型(ML 1LMs)由于每张图像处理数百个视觉标记而产生巨大的推理成本。尽管标记剪枝已被证明能有效加速推理,但确定何时以及在何处进行剪枝仍主要依赖启发式方法。现有方法通常

返回教程库 · 察元AI产品家族