察元AI教程库 · 文章 · 大模型

MoE-Pruner：基于路由提示的混合专家大型语言模型剪枝方法

混合专家（MoE）架构面临高内存消耗和专家冗余的问题。通过剪枝MoE可以减少网络权重同时保持模型性能。受大型语言模型（LLM）和MoE中出现的新兴大特征的启发

作者:Yanyue Xie, Zhi Zhang, Ding Zhou · 语言:en

前往原址学习

简介

混合专家（MoE）架构面临高内存消耗和专家冗余的问题。通过剪枝MoE可以减少网络权重同时保持模型性能。受大型语言模型（LLM）和MoE中出现的新兴大特征的启发

返回教程库 · 察元AI产品家族