察元AI教程库 · 文章 · 部署

DOPD：一种动态PD解耦架构，用于最大化LLM推理服务的吞吐量

为满足严格的SLA（服务等级目标），当代大型语言模型（LLMs）将预填充和解码阶段解耦，并分别部署在不同的GPU上，以缓解每个阶段固有的瓶颈。然而，LLM工作负载的异构性导致生产者与消费者之间的失衡

作者:Junhan Liao, Minxian Xu, Wanyi Zheng · 语言:en

前往原址学习

简介

为满足严格的SLA（服务等级目标），当代大型语言模型（LLMs）将预填充和解码阶段解耦，并分别部署在不同的GPU上，以缓解每个阶段固有的瓶颈。然而，LLM工作负载的异构性导致生产者与消费者之间的失衡

返回教程库 · 察元AI产品家族