察元AI教程库 · 文章 · 多模态
多模态大语言模型(MLLMs)在文本与图像交叉推理方面展现出巨大潜力,但这一潜力尚未得到充分实现。MLLMs通常整合了大语言模型(LLM)、视觉编码器以及一个将视觉编码器的嵌入映射到LLM文本空间的连接器
作者:Nikita Rajaneesh, Thomas Zollo, Richard Zemel · 语言:en
多模态大语言模型(MLLMs)在文本与图像交叉推理方面展现出巨大潜力,但这一潜力尚未得到充分实现。MLLMs通常整合了大语言模型(LLM)、视觉编码器以及一个将视觉编码器的嵌入映射到LLM文本空间的连接器