察元AI教程库 · 文章 · 部署

面向预填充-解码分离的LLM推理的SLO感知计算资源分配

预填充-解码（P/D）解耦已成为大型语言模型（LLM）推理中广泛采用的优化策略。然而，目前尚无成熟的方法来确定最优的P/D硬件资源数量，以满足总吞吐量约束

作者:Luchang Li, Dongfang Li, Bozhao Gong · 语言:en

前往原址学习

简介

预填充-解码（P/D）解耦已成为大型语言模型（LLM）推理中广泛采用的优化策略。然而，目前尚无成熟的方法来确定最优的P/D硬件资源数量，以满足总吞吐量约束

返回教程库 · 察元AI产品家族