察元AI教程库 · 文章 · 部署

ETCInfer：一种面向AI数据中心的高效、热感知冷却联合调度器，用于LLM推理

大语言模型（LLM）在人工智能数据中心中的推理过程，导致GPU服务与机房冷却之间的耦合控制问题。提高环境温度设定点可以降低冷却能耗和碳排放，但也会缩减热裕量，引发GPU降频，并导致服务等级目标（SLO）受损

作者:Rui Lu, Rui Ge, Huanghuang Liang · 语言:en

前往原址学习

简介

大语言模型（LLM）在人工智能数据中心中的推理过程，导致GPU服务与机房冷却之间的耦合控制问题。提高环境温度设定点可以降低冷却能耗和碳排放，但也会缩减热裕量，引发GPU降频，并导致服务等级目标（SLO）受损

返回教程库 · 察元AI产品家族