察元AI教程库 · 文章 · 部署

超越二元优先级:大型语言模型服务的多层级SLA调度

现代LLM服务部署必须同时满足不同用户层级的异构服务级别目标(SLOs),从对延迟敏感的API调用到后台批处理任务。Llumnix引入了一种动态、可迁移的多实例调度器,用于LLM

作者:Anders Vestrum, Arya Raeesi, Hanna Roed · 语言:en

前往原址学习

简介

现代LLM服务部署必须同时满足不同用户层级的异构服务级别目标(SLOs),从对延迟敏感的API调用到后台批处理任务。Llumnix引入了一种动态、可迁移的多实例调度器,用于LLM

返回教程库 · 察元AI产品家族