察元AI教程库 · 文章 · 部署

缓解请求不平衡：一种面向SLO的离散LLM推理调度方法

在生产环境中，大型语言模型（LLM）服务需要满足严格的SLA（服务等级目标），同时面对高度变化的请求模式。实际上，请求长度遵循长尾分布，这导致预填充阶段出现首块阻塞，以及

作者:Qipeng Wang · 语言:en

前往原址学习

简介

在生产环境中，大型语言模型（LLM）服务需要满足严格的SLA（服务等级目标），同时面对高度变化的请求模式。实际上，请求长度遵循长尾分布，这导致预填充阶段出现首块阻塞，以及

返回教程库 · 察元AI产品家族