察元AI教程库 · 文章 · 部署

AI有多“贪婪”？对LLM推理的能耗、用水和碳足迹进行基准测试

本文介绍了一种面向基础设施的基准评估框架，用于量化30个最先进的商业数据中心中LLM推理的环境足迹。该框架结合了公开的API性能数据与公司特定的环境乘数和统计信息

作者:Nidhal Jegham, Marwan Abdelatti, Chan Young Koh · 语言:en

简介