察元AI教程库 · 文章 · 部署

PipeMax：在通用GPU服务器上提升离线LLM推理性能

离线大语言模型（LLM）推理旨在在固定预算下最大化请求处理，使得通用GPU服务器成为一个有前景的选择。然而，以往的工作通常将卸载和并行处理孤立考虑，导致性能不佳。本文提出PipeMax，一种高吞吐量的

作者:Hongbin Zhang, Taosheng Wei, Jiazhi Jiang · 语言:en

前往原址学习

简介

离线大语言模型（LLM）推理旨在在固定预算下最大化请求处理，使得通用GPU服务器成为一个有前景的选择。然而，以往的工作通常将卸载和并行处理孤立考虑，导致性能不佳。本文提出PipeMax，一种高吞吐量的

返回教程库 · 察元AI产品家族