察元AI教程库 · 文章 · 部署

赛莉：为高效双稀疏LLM推理设计的SpMSpV GPU内核与SIMT联合设计

大型语言模型（LLMs）越来越依赖稀疏性来降低推理成本，但大多数现有工作仅利用单一稀疏性来源，并针对批量多用户推理。双稀疏性，即结合无结构权重剪枝与运行时激活稀疏性，提供了一种极具潜力的规模-准确度

作者:Ruokai Yin, Priyadarshini Panda · 语言:en

简介