察元AI教程库 · 文章 · 部署

在移动NPU上高效运行扩散语言模型推理

扩散型大型语言模型（dLLMs）通过并行去噪多个标记来加速生成，使其在对延迟敏感的移动端推理中具有吸引力。然而，重复的去噪过程在智能手机上引入了大量计算开销。移动神经处理单元（NPUs）提供了高吞吐量

作者:Tuowei Wang, Yanfan Sun, Ju Ren · 语言:en

简介