察元AI教程库 · 文章 · 部署

TokenPowerBench：LLM推理功耗的基准测试

大语言模型（LLM）服务每天处理数十亿个查询，行业报告显示，推理阶段的能耗超过训练阶段，占总能耗的90%以上。然而，现有的基准测试主要关注训练/微调或推理性能，缺乏对整体能耗的系统性评估。

作者:Chenxu Niu, Wei Zhang, Jie Li · 语言:en

前往原址学习

简介

大语言模型（LLM）服务每天处理数十亿个查询，行业报告显示，推理阶段的能耗超过训练阶段，占总能耗的90%以上。然而，现有的基准测试主要关注训练/微调或推理性能，缺乏对整体能耗的系统性评估。

返回教程库 · 察元AI产品家族