察元AI教程库 · 文章 · 多模态

MoST：通过模态感知的专家混合实现语音与文本的融合

我们提出了MoST（语音与文本混合），一种新颖的多模态大型语言模型，通过我们提出的模态感知混合专家（MAMoE）架构，无缝整合语音和文本处理。而当前的多模态模型通常处理多种模态表示

作者:Yuxuan Lou, Kai Yang, Yang You · 语言:en

简介