察元AI教程库 · 文章 · 部署

超越贪婪分块:面向SLO的滑动窗口调度用于LLM推理

随着交互式应用在大型语言模型(LLM)在线服务中的快速增长,如何在保证系统吞吐量的同时确保用户感知的延迟,已成为推理调度中的关键问题。现有的LLM服务系统依赖于粗粒度的输出约束,使其

作者:Yuansheng Chen, Yue Zhang, Xuan Mo · 语言:en

前往原址学习

简介

随着交互式应用在大型语言模型(LLM)在线服务中的快速增长,如何在保证系统吞吐量的同时确保用户感知的延迟,已成为推理调度中的关键问题。现有的LLM服务系统依赖于粗粒度的输出约束,使其

返回教程库 · 察元AI产品家族