察元AI教程库 · 文章 · 多模态

Script:面向多模态大语言模型的图结构与查询条件语义令牌剪枝

多模态大型语言模型(MLLMs)中视觉令牌的快速增长导致内存消耗过大和推理延迟增加,尤其是在处理高分辨率图像和视频时。令牌剪枝技术被用来缓解这一问题,通过去除冗余信息,但现有方法

作者:Zhongyu Yang, Dannong Xu, Wei Pang · 语言:en

前往原址学习

简介

多模态大型语言模型(MLLMs)中视觉令牌的快速增长导致内存消耗过大和推理延迟增加,尤其是在处理高分辨率图像和视频时。令牌剪枝技术被用来缓解这一问题,通过去除冗余信息,但现有方法

返回教程库 · 察元AI产品家族