察元AI教程库 · 文章 · 大模型

WLB-LLM：面向大语言模型训练的负载平衡的4D并行方法

在本研究中，我们提出了WLB-LLM，一种面向大型语言模型训练的负载均衡4D并行方法。我们首先全面分析了LLM训练中的负载不平衡问题，并识别出在流水线并行和上下文并行层面的两个主要不平衡来源。然后，为了应对

作者:Zheng Wang, Anna Cai, Xinfeng Xie · 语言:en

简介