察元AI教程库 · 文章 · 部署
在移动设备上部署大型语言模型（LLMs）正成为一种新兴趋势，以实现数据隐私和离线访问LLM应用。现代移动神经处理单元（NPUs）使得这种部署更加可行。然而，现有的移动LLM推理框架在性能方面仍存在挑战。
作者:Yongsheng Yan, Jiacheng Shen, Xuchuan Luo · 语言:en
在移动设备上部署大型语言模型（LLMs）正成为一种新兴趋势，以实现数据隐私和离线访问LLM应用。现代移动神经处理单元（NPUs）使得这种部署更加可行。然而，现有的移动LLM推理框架在性能方面仍存在挑战。