察元AI教程库 · 文章 · 部署

FairBatching：面向LLM推理的公平批处理形成

LLM推理系统面临一个根本性的矛盾：在新请求上最小化首次token（TTFT）延迟，同时维持高且稳定的token生成速率（即低的每输出token时间，TPOT）以保证正在进行请求的稳定性。现有的无停顿批处理调度器提出

作者:Hongtao Lyu, Boyue Liu, Mingyu Wu · 语言:en

简介