察元AI教程库 · 文章 · 部署

基于平衡数据流与细粒度并行的IMC-NoC架构上的LLM推理

LLM推理已成为一项关键服务，但对内存带宽、计算密度和通信效率提出了前所未有的要求。尽管IMC是解决内存墙问题的有希望的方案，但LLM的异构数据动态性要求补充资源来处理

作者:Yimin Wang, Yue Jiet Chong, Xuanyao Fong · 语言:en

简介