察元AI教程库 · 文章 · 部署

HeteroMosaic：暴露并利用异构执行机会，实现高效边缘LLM推理

现代边缘系统级芯片（SoCs）结合了中央处理器（CPU）、集成图形处理器（iGPU）和神经处理单元（NPU），但现有的LLM运行时通常只进行粗粒度的设备级决策或对算子进行孤立优化。因此，它们未能充分利用异构资源，特别是在统一内存架构上

作者:Gregory Hyegang Jun, Wesley Pang, Eddie Richter · 语言:en

前往原址学习

简介

现代边缘系统级芯片（SoCs）结合了中央处理器（CPU）、集成图形处理器（iGPU）和神经处理单元（NPU），但现有的LLM运行时通常只进行粗粒度的设备级决策或对算子进行孤立优化。因此，它们未能充分利用异构资源，特别是在统一内存架构上

返回教程库 · 察元AI产品家族