察元AI教程库 · 文章 · 部署

EnergyLens：面向多GPU大语言模型（LLM）推理优化的预测性能源感知探索

我们提出了EnergyLens，一个面向能耗感知的大语言模型（LLM）推理优化的端到端框架。随着LLM规模的扩大，预测和减少其能耗足迹对可持续性和数据中心运营变得至关重要，但现有方法要么需要生产级的

作者:Zhiye Song, Kyungmi Lee, Eun Kyung Lee · 语言:en

前往原址学习

简介

我们提出了EnergyLens，一个面向能耗感知的大语言模型（LLM）推理优化的端到端框架。随着LLM规模的扩大，预测和减少其能耗足迹对可持续性和数据中心运营变得至关重要，但现有方法要么需要生产级的

返回教程库 · 察元AI产品家族