察元AI教程库 · 文章 · 多模态

MMMModal -- 多图像、多音频、多轮次、多模态

我们的贡献提出了一种开创性的多模态大语言模型，能够在一个多轮会话中理解多张图像、多段音频以及图像-音频的组合输入。我们利用最先进的模型，采用SigLIP编码器处理视觉输入，采用Whisper编码器处理音频输入

作者:Husein Zolkepli, Aisyah Razak, Kamarul Adha · 语言:en

简介