察元AI教程库 · 文章 · 部署

STAR：大语言模型（LLM）推理阶段的解码重调度

大型语言模型（LLM）推理已成为一种基本范式，但输出长度的差异导致解码阶段严重的负载不平衡，尤其是在长输出推理任务中。现有系统，如PD解耦架构，依赖于静态的预填充到解码

作者:Zhibin Wang, Zetao Hong, Xue Li · 语言:en

前往原址学习

简介

大型语言模型（LLM）推理已成为一种基本范式，但输出长度的差异导致解码阶段严重的负载不平衡，尤其是在长输出推理任务中。现有系统，如PD解耦架构，依赖于静态的预填充到解码

返回教程库 · 察元AI产品家族