察元AI教程库 · 文章 · 多模态

SMAR:面向基于Mixture-of-Experts的多模态大语言模型的软模态感知路由策略,保留语言能力

混合专家(MoE)架构已成为扩展大型语言模型的关键方法,越来越多的研究关注将其扩展到多模态任务。现有构建多模态MoE模型的方法要么训练成本高昂,要么在适应时语言能力下降

作者:Guoyang Xia, Yifeng Ding, Fengfa Li · 语言:en

前往原址学习

简介

混合专家(MoE)架构已成为扩展大型语言模型的关键方法,越来越多的研究关注将其扩展到多模态任务。现有构建多模态MoE模型的方法要么训练成本高昂,要么在适应时语言能力下降

返回教程库 · 察元AI产品家族