察元AI教程库 · 文章 · 部署

基于不确定性感知的输出长度预测进行LLM推理调度

为调度LLM推理，采用“最短作业优先”（SJF）原则通过优先处理输出长度较短的请求，可以避免头部阻塞（HOL blocking）。现有方法通常为每个请求预测单一的输出长度以便于调度。我们认为，这种做法

作者:Haoyu Zheng, Yongqiang Zhang, Fangcheng Fu · 语言:en

前往原址学习

简介

为调度LLM推理，采用“最短作业优先”（SJF）原则通过优先处理输出长度较短的请求，可以避免头部阻塞（HOL blocking）。现有方法通常为每个请求预测单一的输出长度以便于调度。我们认为，这种做法

返回教程库 · 察元AI产品家族