察元AI教程库 · 文章 · 部署
大型语言模型（LLM）推理已成为日常生活和产业中的普遍需求。LLM中的大张量尺寸和计算复杂度给内存、计算和数据总线带来了挑战。本文提出了一种计算/内存/通信协同设计的非冯·诺依曼加速器。
作者:Yimin Wang, Yue Jiet Chong, Xuanyao Fong · 语言:en
大型语言模型（LLM）推理已成为日常生活和产业中的普遍需求。LLM中的大张量尺寸和计算复杂度给内存、计算和数据总线带来了挑战。本文提出了一种计算/内存/通信协同设计的非冯·诺依曼加速器。