察元AI教程库 · 文章 · 部署

多GPU LLM推理中由CPU引起的延迟分析

大规模机器学习工作负载越来越多地依赖多GPU系统，但其性能往往受限于一个被忽视的组件：CPU。通过对现代大型语言模型（LLM）服务工作负载的详细研究，我们发现多GPU性能的下降并非由于GPU，而是

作者:Euijun Chung, Yuxiao Jia, Aaron Jezghani · 语言:en

简介