察元AI教程库 · 文章 · 部署

超越预测：面向LLM推理的尾部感知调度

LLM服务表现出极端的长度可变性，使得基于大小的调度在实践中难以实现。最近的LLM调度器通过预测解码长度或排名来近似SJF/SRPT，并主要报告以平均为中心的指标，如TTFT和TBT。我们表明，这些基于预测的策略可以

作者:Yueying Li, Yuanfan Chen, Jiayang Chen · 语言:en

简介