察元AI教程库 · 文章 · 部署

TD-Pipe:面向高吞吐LLM推理的时序解耦流水线架构

随着模型规模的持续增长,流水线并行在面向吞吐量的LLM推理中展现出巨大潜力,因为它对通信需求较低。然而,预填充和解码阶段的流水线工作负载不平衡和复杂的依赖关系导致大量流水线空隙

作者:Hongbin Zhang, Taosheng Wei, Zhenyi Zheng · 语言:en

前往原址学习

简介

随着模型规模的持续增长,流水线并行在面向吞吐量的LLM推理中展现出巨大潜力,因为它对通信需求较低。然而,预填充和解码阶段的流水线工作负载不平衡和复杂的依赖关系导致大量流水线空隙

返回教程库 · 察元AI产品家族