察元AI教程库 · 文章 · 部署

从移动DVFS控制器角度剖析对大型语言模型推理性能和能效的影响

大型语言模型（LLMs）正越来越多地被集成到运行在数十亿移动设备上的各种应用和服务中。然而，由于其对计算、内存以及最终能源的高需求，将其部署在资源受限的移动设备上仍面临重大挑战

作者:Zongpu Zhang, Pranab Dash, Y. Charlie Hu · 语言:en

前往原址学习

简介

大型语言模型（LLMs）正越来越多地被集成到运行在数十亿移动设备上的各种应用和服务中。然而，由于其对计算、内存以及最终能源的高需求，将其部署在资源受限的移动设备上仍面临重大挑战

返回教程库 · 察元AI产品家族