察元AI教程库 · 文章 · 部署

EnerInfer：设备端的能效感知LLM推理

在设备上进行LLM推理越来越受到隐私保护、可靠性和成本效益的吸引，但其能耗和热成本仍然是关键瓶颈。现有系统主要优化解码速度，隐含地假设更快的执行总是更优的。

作者:Bohua Zou, Nian Liu, Binqi Sun · 语言:en

前往原址学习

简介

在设备上进行LLM推理越来越受到隐私保护、可靠性和成本效益的吸引，但其能耗和热成本仍然是关键瓶颈。现有系统主要优化解码速度，隐含地假设更快的执行总是更优的。

返回教程库 · 察元AI产品家族