察元AI教程库 · 文章 · 部署

FusionCIM：基于融合驱动的内存计算架构加速LLM推理

本文我们提出FusionCIM，一种基于操作融合的计算内存（CIM）加速器架构，用于高效且可扩展的LLM推理，具有三个关键创新：（1）一种混合CIM流水线架构，将QKT计算映射到基于内积的CIM（IP-CIM）和PV聚合

作者:Zihao Xuan, Jia Chen, Yewen Li · 语言:en

前往原址学习

简介

本文我们提出FusionCIM，一种基于操作融合的计算内存（CIM）加速器架构，用于高效且可扩展的LLM推理，具有三个关键创新：（1）一种混合CIM流水线架构，将QKT计算映射到基于内积的CIM（IP-CIM）和PV聚合

返回教程库 · 察元AI产品家族