察元AI教程库 · 文章 · 大模型

LocMoE：一种低开销的大语言模型训练MoE（混合专家）

专家混合（MoE）模型是一种广泛使用的分布式和集成学习方法，用于大型语言模型（LLM），因其能够高效地稀疏化和扩展模型而受到青睐。然而，MoE的性能受限于负载不平衡以及全连接（All-to-All）通信的高延迟

作者:Jing Li, Zhijie Sun, Xuan He · 语言:en

前往原址学习

简介

专家混合（MoE）模型是一种广泛使用的分布式和集成学习方法，用于大型语言模型（LLM），因其能够高效地稀疏化和扩展模型而受到青睐。然而，MoE的性能受限于负载不平衡以及全连接（All-to-All）通信的高延迟

返回教程库 · 察元AI产品家族