察元AI教程库 · 文章 · 部署

超越预填充-解码解耦：通过动态操作调度，剖析异构平台上的LLM推理

prefill-decode解耦（PD）和基于roofline的算子放置是异构系统中划分大型语言模型（LLM）推理的常见策略，但在实践中往往效果不足。端到端延迟还取决于工作负载形状和运行时设备竞争

作者:Jiaqi Yang, Jiayi Li, Yihan Fu · 语言:en

前往原址学习

简介

prefill-decode解耦（PD）和基于roofline的算子放置是异构系统中划分大型语言模型（LLM）推理的常见策略，但在实践中往往效果不足。端到端延迟还取决于工作负载形状和运行时设备竞争

返回教程库 · 察元AI产品家族