察元AI教程库 · 文章 · 部署

实时将LLM推理路由至最干净的网格

大语言模型（LLM）推理是一个快速增长的电力负载，其边际碳强度在电网区域和一天的不同时间之间变化超过一个数量级，使得请求调度成为一个有吸引力的杠杆：无需重新训练，无需硬件变更。我们报告了碳强度的实时验证

作者:Aleks Bernhard, Arif Baran Yardimci · 语言:en

简介