察元AI教程库 · 文章 · 部署

ISO：序列推理中计算与通信重叠的优化方法

在大语言模型（LLM）推理领域，Transformer模型的内在结构与多GPU张量并行策略导致计算与通信的顺序执行，这在计算过程中造成了大量计算资源的浪费。

作者:Bin Xiao, Lei Su · 语言:en

前往原址学习

简介

在大语言模型（LLM）推理领域，Transformer模型的内在结构与多GPU张量并行策略导致计算与通信的顺序执行，这在计算过程中造成了大量计算资源的浪费。

返回教程库 · 察元AI产品家族