察元AI教程库 · 文章 · 部署

Pro-Router:一种基于令牌感知的渐进式模型路由,结合自适应边缘-云端协作,用于高效多模态LLM推理

多模态大语言模型(MLLM)的卓越性能以巨大的计算开销为代价,给实时部署和成本效益带来了重大挑战。现有模型路由方法要么仅基于粗粒度的请求级特征进行决策,要么

作者:Xinyuan Gui, Shaowen Wang, Sheng Sun · 语言:en

前往原址学习

简介

多模态大语言模型(MLLM)的卓越性能以巨大的计算开销为代价,给实时部署和成本效益带来了重大挑战。现有模型路由方法要么仅基于粗粒度的请求级特征进行决策,要么

返回教程库 · 察元AI产品家族