察元AI教程库 · 文章 · 部署

离线最优能耗的LLM服务：针对异构系统中LLM推理的工作负载能耗模型

大型语言模型（LLMs）的快速普及推动了自然语言处理和文本生成领域的显著进步。然而，LLM模型推理所消耗的能源仍然是可持续AI部署的主要挑战。为解决这一问题，我们建立了与工作负载相关的能耗模型

作者:Grant Wilkins, Srinivasan Keshav, Richard Mortier · 语言:en

前往原址学习

简介

大型语言模型（LLMs）的快速普及推动了自然语言处理和文本生成领域的显著进步。然而，LLM模型推理所消耗的能源仍然是可持续AI部署的主要挑战。为解决这一问题，我们建立了与工作负载相关的能耗模型

返回教程库 · 察元AI产品家族