察元AI教程库 · 文章 · 部署

基于切片级激活重叠的高效LLM推理

SwiGLU是现代大型语言模型中占主导地位的MLP激活函数，但其中间张量的材料化成本占MLP执行时间的9-37%。我们提出了两种互补的基于CUTLASS的SM90内核，将SwiGLU与GeMM在tile级别融合。内核1在Gate上重叠Swish计算

作者:Abhinav Jangda, Tyler Sorensen, Sebastian Burckhardt · 语言:en

简介