察元AI教程库 · 文章 · 部署

张量并行大型语言模型推理的通信压缩

大语言模型（LLMs）推动了人工智能的边界，但其包含数十亿甚至数百亿的参数和操作。为了实现更快的推理延迟，LLMs通过多种模型并行策略部署在多个硬件加速器上。我们的论文重点探讨了

作者:Jan Hansen-Palmus, Michael Truong Le, Oliver Hausdörfer · 语言:en

前往原址学习

简介

大语言模型（LLMs）推动了人工智能的边界，但其包含数十亿甚至数百亿的参数和操作。为了实现更快的推理延迟，LLMs通过多种模型并行策略部署在多个硬件加速器上。我们的论文重点探讨了

返回教程库 · 察元AI产品家族