察元AI教程库 · 文章 · 部署

在不同工作负载和GPU扩展下，LLM推理的能耗-性能权衡分析

LLM推理在不同查询和执行阶段表现出显著的差异，但推理配置通常被统一应用。我们提出了基于测量的负载异构性和GPU动态电压频率下的能量-性能行为的刻画。

作者:Paul Joe Maliakel, Shashikant Ilager, Ivona Brandic · 语言:en

前往原址学习

简介

LLM推理在不同查询和执行阶段表现出显著的差异，但推理配置通常被统一应用。我们提出了基于测量的负载异构性和GPU动态电压频率下的能量-性能行为的刻画。

返回教程库 · 察元AI产品家族