察元AI教程库 · 文章 · 部署

MVDRAM：在不修改DRAM的前提下，利用GeMV执行实现低比特大语言模型加速

通用矩阵-向量乘法（GeMV）仍然是大语言模型（LLM）推理中的关键延迟瓶颈，即使在低比特量化模型中也是如此。处理-使用-DRAM（PUD）是一种在DRAM内进行的模拟计算技术，能够将设备上的DRAM重新利用为GeMV引擎，提供

作者:Tatsuya Kubo, Daichi Tokuda, Tomoya Nagatani · 语言:en

前往原址学习

简介

通用矩阵-向量乘法（GeMV）仍然是大语言模型（LLM）推理中的关键延迟瓶颈，即使在低比特量化模型中也是如此。处理-使用-DRAM（PUD）是一种在DRAM内进行的模拟计算技术，能够将设备上的DRAM重新利用为GeMV引擎，提供

返回教程库 · 察元AI产品家族