察元AI教程库 · 文章 · 部署

并行化LLM推理的细粒度能耗预测：基于PIE-P

随着大型语言 语言模型（LLMs）的广泛应用，运行LLMs的能耗正迅速成为一个关键问题。然而，精确测量LLMs的能耗往往不可行，因为硬件功率监测器并非总是可访问，而基于软件的能耗监测也

作者:Anurag Dutt, Young Won Choi, Avirup Sil · 语言:en

前往原址学习

简介

随着大型语言 语言模型（LLMs）的广泛应用，运行LLMs的能耗正迅速成为一个关键问题。然而，精确测量LLMs的能耗往往不可行，因为硬件功率监测器并非总是可访问，而基于软件的能耗监测也

返回教程库 · 察元AI产品家族