察元AI教程库 · 文章 · 多模态
多模态大语言模型（MLLMs）通过将视觉编码器的图像特征与大语言模型（LLMs）结合，展现出先进的理解能力。然而，主流的MLLMs仅由文本token的下一个token预测进行监督，忽略了关键的以视觉为中心的信息本质
作者:Yunnan Wang, Fan Lu, Kecheng Zheng · 语言:en
多模态大语言模型（MLLMs）通过将视觉编码器的图像特征与大语言模型（LLMs）结合，展现出先进的理解能力。然而，主流的MLLMs仅由文本token的下一个token预测进行监督，忽略了关键的以视觉为中心的信息本质