察元AI教程库 · 文章 · 提示词

关键词很重要：揭示设备端LLM提示的能量敏感性

大型语言模型（LLMs）越来越多地部署在移动设备和嵌入式设备上，以提高隐私并减少网络延迟。然而，本地推理面临一个根本性限制：在电池供电、资源有限的硬件上，能耗过高。尽管模型压缩和运行时加速

作者:Ruiyi Tao, Xiaolong Tu, Haoxin Wang · 语言:en

前往原址学习

简介

大型语言模型（LLMs）越来越多地部署在移动设备和嵌入式设备上，以提高隐私并减少网络延迟。然而，本地推理面临一个根本性限制：在电池供电、资源有限的硬件上，能耗过高。尽管模型压缩和运行时加速

返回教程库 · 察元AI产品家族