察元AI教程库 · 文章 · 部署

CHESS：通过通道级阈值和选择性稀疏化优化大语言模型推理

在边缘设备上部署大型语言模型（LLMs）面临巨大挑战，因为其计算开销和内存需求都非常高。激活稀疏化可以通过减少推理过程中激活的神经元数量来缓解这些资源问题。现有方法

作者:Junhui He, Shangyu Wu, Weidong Wen · 语言:en

简介