察元AI教程库 · 文章 · 大模型

Helix：通过最大流在异构GPU和网络上服务大型语言模型

本文介绍了一种名为Helix的分布式系统，用于在异构GPU集群中实现高吞吐、低延迟的大型语言模型（LLM）服务。Helix的核心思想是将LLM的推理计算在异构GPU和网络连接上建模为一个直接网络上的最大流问题

作者:Yixuan Mei, Yonghao Zhuang, Xupeng Miao · 语言:en

简介