察元AI教程库 · 文章 · 部署

SparseInfer：无需训练的激活稀疏性预测方法，用于快速LLM推理

利用稀疏性对优化大型语言模型推理至关重要。然而，现代LLM采用SiLU作为激活函数，表现出极低的激活稀疏性。最近的研究提出用ReLU替代SiLU以诱导显著的激活稀疏性，并证明了在下游任务中没有负面影响

作者:Jiho Shin, Hoeseok Yang, Youngmin Yi · 语言:en

简介