察元AI教程库 · 文章 · 部署

DWDP：基于分布式权重数据并行的高效率LLM推理（NVL72平台）

大型语言模型（LLM）推理越来越依赖多GPU执行，然而现有的推理并行策略需要按层进行跨进程同步，导致端到端性能对工作负载不平衡极为敏感。我们提出了DWDP（分布式权重数据并行），一种

作者:Wanqian Li, Jintao Peng, Zongfei Jing · 语言:en

前往原址学习

简介

大型语言模型（LLM）推理越来越依赖多GPU执行，然而现有的推理并行策略需要按层进行跨进程同步，导致端到端性能对工作负载不平衡极为敏感。我们提出了DWDP（分布式权重数据并行），一种

返回教程库 · 察元AI产品家族