察元AI教程库 · 文章 · 部署
大型语言模型(LLM)的广泛采用要求云LLM推理集群的快速扩展,导致了“嵌入式碳排放”——即制造和供应IT资产所产生的排放——的积累,这些排放主要集中在推理服务器CPU上。本文深入探讨了这一挑战
作者:Tharindu B. Hewage, Shashikant Ilager, Maria Rodriguez Read · 语言:en
大型语言模型(LLM)的广泛采用要求云LLM推理集群的快速扩展,导致了“嵌入式碳排放”——即制造和供应IT资产所产生的排放——的积累,这些排放主要集中在推理服务器CPU上。本文深入探讨了这一挑战