察元AI教程库 · 文章 · 部署

从提示到力量：测量大语言模型（LLM）推理的能量足迹

大语言模型（LLMs）的快速发展带来了前所未有的能源需求，不仅体现在训练阶段，更体现在大规模推理工作负载上，这些工作负载往往占据了整个生命周期的能耗主导地位。部署这些模型需要耗能的GPU基础设施，某些情况下甚至引发了

作者:Francisco Caravaca, Ángel Cuevas, Rubén Cuevas · 语言:en

简介