察元AI教程库 · 文章 · 大模型

大型语言模型推理的能量考虑与效率优化

随着大型语言模型（LLMs）规模和应用的扩大，其计算和环境成本持续上升。以往的基准测试主要集中在理想化环境下的延迟降低上，常常忽略了塑造能源消耗的多样化真实世界推理工作负载。

作者:Jared Fernandez, Clara Na, Vashisth Tiwari · 语言:en

简介