察元AI教程库 · 文章 · 大模型

ActTail：大语言模型中的全局激活稀疏性

激活稀疏性是一种通过减少计算和内存移动来加速大型语言模型（LLM）推理的有前景的方法。然而，现有的激活稀疏性方法通常对所有投影应用均匀稀疏性，忽略了Transformer中投影的异质统计特性

作者:Wenwen Hou, Xinyuan Song, Shiwei Liu · 语言:en

前往原址学习

简介

激活稀疏性是一种通过减少计算和内存移动来加速大型语言模型（LLM）推理的有前景的方法。然而，现有的激活稀疏性方法通常对所有投影应用均匀稀疏性，忽略了Transformer中投影的异质统计特性

返回教程库 · 察元AI产品家族