察元AI教程库 · 文章 · 部署
随着生成式大型语言模型（LLMs）需求的上升，云数据中心的热管理和功耗管理面临挑战。传统技术由于LLM推理的细粒度、毫秒级执行阶段，每个阶段具有不同的性能、热特性，往往无法应对。
作者:Jovan Stojkovic, Chaojie Zhang, Íñigo Goiri · 语言:en
随着生成式大型语言模型（LLMs）需求的上升，云数据中心的热管理和功耗管理面临挑战。传统技术由于LLM推理的细粒度、毫秒级执行阶段，每个阶段具有不同的性能、热特性，往往无法应对。