察元AI教程库 · 文章 · 部署

SHIELD：一种用于边缘NPU上高效LLM推理的分段层次内存架构

在边缘神经处理单元（NPUs）上进行大语言模型（LLM）推理从根本上受到片上内存容量的限制。尽管高密度嵌入式DRAM（eDRAM）适合存储激活工作区，但其周期性刷新会消耗大量能量。以往的工作表明

作者:Jintao Zhang, Xuanyao Fong · 语言:en

前往原址学习

简介

在边缘神经处理单元（NPUs）上进行大语言模型（LLM）推理从根本上受到片上内存容量的限制。尽管高密度嵌入式DRAM（eDRAM）适合存储激活工作区，但其周期性刷新会消耗大量能量。以往的工作表明

返回教程库 · 察元AI产品家族