察元AI教程库 · 文章 · 多模态

MoDES：通过动态专家跳过加速多专家多模态大语言模型

混合专家（MoE）多模态大语言模型（MLLMs）在视觉-语言任务中表现优异，但存在高计算效率问题。为了减少推理开销，已提出专家跳过方法，根据当前输入标记来禁用冗余专家。然而，

作者:Yushi Huang, Zining Wang, Zhihang Yuan · 语言:en

前往原址学习

简介

混合专家（MoE）多模态大语言模型（MLLMs）在视觉-语言任务中表现优异，但存在高计算效率问题。为了减少推理开销，已提出专家跳过方法，根据当前输入标记来禁用冗余专家。然而，

返回教程库 · 察元AI产品家族