察元AI教程库 · 文章 · 多模态

视觉令牌究竟编码了什么?揭示多模态大语言模型中的稀疏性与冗余性

多模态大语言模型(MLLMs)将视觉标记投影到语言模型的嵌入空间中,但其内部结构和视觉语义的处理机制仍不明确。在本研究中,我们引入了一个两阶段的分析框架,包含一个新颖的探针工具,$\textbf{Em}

作者:Yingqi Fan, Junlong Tong, Anhao Zhao · 语言:en

前往原址学习

简介

多模态大语言模型(MLLMs)将视觉标记投影到语言模型的嵌入空间中,但其内部结构和视觉语义的处理机制仍不明确。在本研究中,我们引入了一个两阶段的分析框架,包含一个新颖的探针工具,$\textbf{Em}

返回教程库 · 察元AI产品家族