察元AI教程库 · 文章 · 多模态
主流的多模态大语言模型(MLLMs)将输入图像编码为视觉令牌,并将其输入到语言骨干网络中,类似于大型语言模型(LLMs)处理文本令牌的方式。然而,随着图像分辨率的增加,视觉令牌数量呈二次增长,
作者:Shiyu Zhao, Zhenting Wang, Felix Juefei-Xu · 语言:en
主流的多模态大语言模型(MLLMs)将输入图像编码为视觉令牌,并将其输入到语言骨干网络中,类似于大型语言模型(LLMs)处理文本令牌的方式。然而,随着图像分辨率的增加,视觉令牌数量呈二次增长,