察元AI教程库 · 文章 · 大模型
我们引入了X-VILA，一个多模态模型，旨在通过整合图像、视频和音频模态来扩展大型语言模型（LLMs）的能力。通过将模态特定的编码器与LLM输入对齐，以及扩散解码器与LLM输出对齐，X-VILA实现了跨模态理解。
作者:Hanrong Ye, De-An Huang, Yao Lu · 语言:en
我们引入了X-VILA，一个多模态模型，旨在通过整合图像、视频和音频模态来扩展大型语言模型（LLMs）的能力。通过将模态特定的编码器与LLM输入对齐，以及扩散解码器与LLM输出对齐，X-VILA实现了跨模态理解。