察元AI教程库 · 文章 · 多模态

BASIC:通过内在精细嵌入提升多模态大语言模型的视觉对齐

主流的多模态大语言模型(MLLMs)通过使用视觉投影器连接预先训练好的视觉编码器和大型语言模型(LLMs)来实现视觉理解。视觉与文本模态之间的固有差距使得视觉投影器生成的嵌入至关重要

作者:Jianting Tang, Yubo Wang, Haoyu Cao · 语言:en

前往原址学习

简介

主流的多模态大语言模型(MLLMs)通过使用视觉投影器连接预先训练好的视觉编码器和大型语言模型(LLMs)来实现视觉理解。视觉与文本模态之间的固有差距使得视觉投影器生成的嵌入至关重要

返回教程库 · 察元AI产品家族