察元AI教程库 · 文章 · 部署

NASiC：一种基于3D NAND的CAM选择多比特CIM架构，用于高效设备端Mixture-of-Experts LLM推理

混合专家（MoE）模型已成为扩展大型语言模型（LLMs）的前沿范式，能够在不显著增加计算成本的前提下实现模型规模的扩展。然而，其在设备上的部署面临一个关键挑战，即由于需要存储所有专家参数，导致内存需求巨大。

作者:Weikai Xu, Meng Li, Shuzhang Zhong · 语言:en

前往原址学习

简介

混合专家（MoE）模型已成为扩展大型语言模型（LLMs）的前沿范式，能够在不显著增加计算成本的前提下实现模型规模的扩展。然而，其在设备上的部署面临一个关键挑战，即由于需要存储所有专家参数，导致内存需求巨大。

返回教程库 · 察元AI产品家族