察元AI教程库 · 文章 · 部署

PRIMAL：基于内存处理的低秩适应用于LLM推理加速器

本文提出了PRIMAL，一种基于处理内存（PIM）的大型语言模型（LLM）推理加速器，结合低秩适应（LoRA）。PRIMAL集成了异构的PIM处理单元（PEs），通过2D网格互连PE计算网络（IPCN）相互连接。一种新颖的SRAM重新编程

作者:Yue Jiet Chong, Yimin Wang, Zhen Wu · 语言:en

前往原址学习

简介

本文提出了PRIMAL，一种基于处理内存（PIM）的大型语言模型（LLM）推理加速器，结合低秩适应（LoRA）。PRIMAL集成了异构的PIM处理单元（PEs），通过2D网格互连PE计算网络（IPCN）相互连接。一种新颖的SRAM重新编程

返回教程库 · 察元AI产品家族