察元AI教程库 · 文章 · 部署

大规模LLM推理中的异构工作负载：预填充-解码竞争及渐近最优控制

大型语言模型（LLMs）正迅速成为企业应用的关键基础设施，推动了对基于GPU的推理服务前所未有的需求。LLM推理的两阶段特性带来了关键的运营挑战：一个计算密集的\emph{预填充}阶段处理

作者:Ruihan Lin, Zezhen Ding, Zean Han · 语言:en

前往原址学习

简介

大型语言模型（LLMs）正迅速成为企业应用的关键基础设施，推动了对基于GPU的推理服务前所未有的需求。LLM推理的两阶段特性带来了关键的运营挑战：一个计算密集的\emph{预填充}阶段处理

返回教程库 · 察元AI产品家族