察元AI教程库 · 文章 · 大模型

E-Sparse：通过基于熵的N:M稀疏性提升大型语言模型推理效率

传统的剪枝方法在大型语言模型（LLMs）中用于生成式人工智能时面临挑战，因为其训练过程成本高昂且计算需求巨大。首次，我们将隐藏状态特征的信息熵引入剪枝指标中

作者:Yun Li, Lin Niu, Xipeng Zhang · 语言:en

前往原址学习

简介

传统的剪枝方法在大型语言模型（LLMs）中用于生成式人工智能时面临挑战，因为其训练过程成本高昂且计算需求巨大。首次，我们将隐藏状态特征的信息熵引入剪枝指标中

返回教程库 · 察元AI产品家族