察元AI教程库 · 文章 · 部署

当NPU并非总是更快：移动大语言模型（LLM）推理的阶段级分析

在移动设备上部署大语言模型（LLMs）越来越依赖于异构执行，但此前尚无研究系统性地对NPU在算子和流水线层面的有效性进行表征。我们首次提出了移动LLM推理的阶段感知、多层级基准研究。

作者:Pu Li, Jiawen Qi, Qinyu Chen · 语言:en

前往原址学习

简介

在移动设备上部署大语言模型（LLMs）越来越依赖于异构执行，但此前尚无研究系统性地对NPU在算子和流水线层面的有效性进行表征。我们首次提出了移动LLM推理的阶段感知、多层级基准研究。

返回教程库 · 察元AI产品家族