察元AI教程库 · 文章 · 部署

从token到瓦特小时：现代GPU上LLM推理的分析能耗估算

大型语言模型（LLM）推理的运行能耗正逐渐成为部署AI系统环境足迹中越来越重要的组成部分。然而，直接测量推理能耗通常需要硬件遥测、功率仪器或基础设施

作者:Tina Vartziotis, Rodopi Kosteli, Elli Vartziotis · 语言:en

前往原址学习

简介

大型语言模型（LLM）推理的运行能耗正逐渐成为部署AI系统环境足迹中越来越重要的组成部分。然而，直接测量推理能耗通常需要硬件遥测、功率仪器或基础设施

返回教程库 · 察元AI产品家族