察元AI教程库 · 文章 · 部署

你的NPU准备好应对LLM了吗？深入剖析移动LLM推理中的隐藏效率瓶颈

在移动设备上部署大语言模型（LLMs）可以增强隐私并降低延迟，但硬件效率的低下严重制约了其发展。我们首次进行了全面、跨层的移动LLM推理测量研究，独特地覆盖了五个主流框架（例如，llama.c）。

作者:Guanyu Cai, Ruiming Tian, Lang Yang · 语言:en

前往原址学习

简介

在移动设备上部署大语言模型（LLMs）可以增强隐私并降低延迟，但硬件效率的低下严重制约了其发展。我们首次进行了全面、跨层的移动LLM推理测量研究，独特地覆盖了五个主流框架（例如，llama.c）。

返回教程库 · 察元AI产品家族