察元AI教程库 · 文章 · 部署

学习分片：使用强化学习优化分布式LLM推理中的并行度和操作分片维度

分布式LLM推理需要在数百到数千个NPU之间仔细协调并行策略，以满足生产环境的SLO。当前系统如Megatron-LM依赖静态启发式方法，分别配置并行度和每个操作符的分片维度，导致

作者:Ruokai Yin, Sattwik Deb Mishra, Xuan Zuo · 语言:en

简介