察元AI教程库 · 文章 · 多模态

基于模态间隙驱动的子空间对齐训练范式用于多模态大语言模型

尽管多模态对比学习在对齐视觉和语言表示方面取得了成功，但一个持续存在的几何异常——模态间隙仍存在：不同模态的嵌入表达相同语义时，却系统性地分布在偏移的区域中。先前用于弥合这一

作者:Xiaomin Yu, Yi Xin, Yuhui Zhang · 语言:en

简介