察元AI教程库 · 文章 · 部署

AccelGen：面向多样化应用的异构SLO保障高吞吐量LLM推理服务

大型语言模型（LLM）推理的快速增长正在导致数据中心负载显著增加，面临日益严峻的电网条件和需求响应（DR）要求下的能源管理挑战。传统的数据中心能源管理主要依赖于时间和空间

作者:Haiying Shen, Tanmoy Sen · 语言:en

前往原址学习

简介

大型语言模型（LLM）推理的快速增长正在导致数据中心负载显著增加，面临日益严峻的电网条件和需求响应（DR）要求下的能源管理挑战。传统的数据中心能源管理主要依赖于时间和空间

返回教程库 · 察元AI产品家族