察元AI教程库 · 文章 · 部署

SweetSpot：一个用于预测LLM推理能效的分析模型

大语言模型（LLM）的推理是现代人工智能应用的核心，占据了全球数据中心工作负载的主导地位，因此预测其能耗至关重要。现有方法将能耗估算为输入和输出序列的简单线性函数。然而，通过分析

作者:Hiari Pizzini Cavagna, Andrea Proia, Giacomo Madella · 语言:en

前往原址学习

简介

大语言模型（LLM）的推理是现代人工智能应用的核心，占据了全球数据中心工作负载的主导地位，因此预测其能耗至关重要。现有方法将能耗估算为输入和输出序列的简单线性函数。然而，通过分析

返回教程库 · 察元AI产品家族