察元AI教程库 · 文章 · 部署

TokenWeave：用于分布式语言模型推理的高效计算-通信重叠

使用张量并行进行大型语言模型（LLM）的分布式推理，即使在通过NVLink（高速GPU互连）连接的GPU上，也可能引入高达20%的通信开销。已有多种技术被提出，通过将计算分解为更小的

作者:Raja Gond, Nipun Kwatra, Ramachandran Ramjee · 语言:en

简介