察元AI教程库 · 文章 · 部署

一种以交换为中心的网络内架构，用于加速共享内存网络中的LLM推理

张量并行（TP）已成为对延迟敏感的LLM推理的关键技术，但它引入了频繁且紧密同步的All-Reduce操作，这些操作直接位于推理关键路径上，使得GPU间通信成为主要的性能瓶颈。在网内计算提供了

作者:Aojie Jiang, Kang Zhu, Zhiheng Zhang · 语言:en

简介