察元AI教程库 · 文章 · 部署

RH+：基于行命中优化的基于PIM的LLM推理调度

基于内存处理（PIM）架构的大型语言模型（LLM）推理有望通过在HBM3 DRAM银行内直接执行乘法-累加（MAC）操作来突破内存墙。先前研究指出，功率约束时间参数nCCDAB是主要的性能瓶颈

作者:Yongchan Jung, Shafayat Mowla Anik, Byeong Kil Lee · 语言:en

简介