察元AI教程库 · 文章 · 部署

平滑峰值，而非峰值：LLM推理中调度引起的功率动态及其对电网规模的影响

大语言模型（LLM）推理服务是一个快速增长的电力负载，其电力动态从电网规划的角度尚未被充分认识。我们利用真实测量的GPU功耗轨迹，展示了分块预填充调度（chunked prefill scheduling）——一种以降低延迟为目的的技术——在默认部署中的效果

作者:Pan Li, Yize Chen, Xia Miao · 语言:en

前往原址学习

简介

大语言模型（LLM）推理服务是一个快速增长的电力负载，其电力动态从电网规划的角度尚未被充分认识。我们利用真实测量的GPU功耗轨迹，展示了分块预填充调度（chunked prefill scheduling）——一种以降低延迟为目的的技术——在默认部署中的效果

返回教程库 · 察元AI产品家族