察元AI教程库 · 文章 · 微调

在资源受限设备上对稀疏激活的大语言模型进行联邦微调

混合专家（MoE）架构的大语言模型（LLMs）的联邦微调极具挑战，因为其巨大的计算需求以及参与者资源的限制。现有工作通过模型量化、计算卸载或专家分发等方法来填补这一空白

作者:Fahao Chen, Jie Wan, Peng Li · 语言:en

前往原址学习

简介

混合专家（MoE）架构的大语言模型（LLMs）的联邦微调极具挑战，因为其巨大的计算需求以及参与者资源的限制。现有工作通过模型量化、计算卸载或专家分发等方法来填补这一空白

返回教程库 · 察元AI产品家族