察元AI教程库 · 文章 · 部署

HorizonServe：通过GPU共享协调请求调度，实现多模型服务

Omni模型将文本、语音、图像和多模态推理统一在一个单一的后端服务中，但这种统一部署暴露了一个新的调度问题。不同输出模态的请求可能共享初始的多模态骨干，并在下游生成阶段分化，造成

作者:Yuning Zhang, Dong Yuan · 语言:en

简介