察元AI教程库 · 文章 · 部署
大型语言模型（LLMs）导致了对大规模服务系统的巨大需求，其中数万块GPU持续为数亿用户服务。因此，吞吐量已成为决定服务系统性能的关键指标。由于大模型的规模，这成为制约系统性能的主要因素。
作者:Kan Zhu, Yufei Gao, Yilong Zhao · 语言:en
大型语言模型（LLMs）导致了对大规模服务系统的巨大需求，其中数万块GPU持续为数亿用户服务。因此，吞吐量已成为决定服务系统性能的关键指标。由于大模型的规模，这成为制约系统性能的主要因素。