察元AI教程库 · 文章 · 部署

NPU实现高效设备端大语言模型推理

随着隐私问题日益突出以及移动规模模型的进步，设备端的LLM推理受到了广泛关注。然而，即使是移动规模的LLM（如Gemma-2B）也面临无法接受的高推理延迟，通常由预填充阶段所限制

作者:Daliang Xu, Hao Zhang, Liming Yang · 语言:en

前往原址学习

简介

随着隐私问题日益突出以及移动规模模型的进步，设备端的LLM推理受到了广泛关注。然而，即使是移动规模的LLM（如Gemma-2B）也面临无法接受的高推理延迟，通常由预填充阶段所限制

返回教程库 · 察元AI产品家族