察元AI教程库 · 文章 · 部署

P3-LLM:一种用于边缘LLM推理的集成NPU-PIM加速器,采用混合数值格式

大型语言模型(LLMs)的大量内存带宽和计算需求对高效推理提出了关键挑战。为解决这一问题,文献中探讨了结合神经处理单元(NPUs)与基于DRAM的处理内存(PIM)的异构系统

作者:Yuzong Chen, Chao Fang, Xilai Dai · 语言:en

前往原址学习

简介

大型语言模型(LLMs)的大量内存带宽和计算需求对高效推理提出了关键挑战。为解决这一问题,文献中探讨了结合神经处理单元(NPUs)与基于DRAM的处理内存(PIM)的异构系统

返回教程库 · 察元AI产品家族