察元AI教程库 · 文章 · 多模态

通过搜索最优视觉令牌减少来加速多模态大语言模型

主流的多模态大语言模型(MLLMs)将输入图像编码为视觉令牌,并将其输入到语言骨干网络中,类似于大型语言模型(LLMs)处理文本令牌的方式。然而,随着图像分辨率的增加,视觉令牌数量呈二次增长,

作者:Shiyu Zhao, Zhenting Wang, Felix Juefei-Xu · 语言:en

前往原址学习

简介

主流的多模态大语言模型(MLLMs)将输入图像编码为视觉令牌,并将其输入到语言骨干网络中,类似于大型语言模型(LLMs)处理文本令牌的方式。然而,随着图像分辨率的增加,视觉令牌数量呈二次增长,

返回教程库 · 察元AI产品家族