察元AI教程库 · 文章 · 部署

HeatCache:面向可持续边缘服务器机柜的液冷环境下的热感知节能大语言模型(LLM)推理调度

LLM推理越来越多地部署在机构级边缘以满足服务需求。然而,多GPU推理消耗大量电力并产生大量热量。为了提高可持续性,运营商和监管机构通常要求提高环境设定点以减少

作者:Rui Lu, Huanghuang Liang, Kaiqi Guan · 语言:en

前往原址学习

简介

LLM推理越来越多地部署在机构级边缘以满足服务需求。然而,多GPU推理消耗大量电力并产生大量热量。为了提高可持续性,运营商和监管机构通常要求提高环境设定点以减少

返回教程库 · 察元AI产品家族