察元AI教程库 · 文章 · 部署

基于苹果硅NPU的混合专家大型语言模型高效推理

苹果神经引擎（ANE）是每个苹果硅芯片中都配备的专用神经处理单元（NPU）。混合专家（MoE）LLM通过稀疏激活提升推理效率，但对NPU而言存在三个挑战：专家路由不可预测且引入动态张量形状

作者:Afsara Benazir, Felix Xiaozhu Lin · 语言:en

简介