察元AI教程库 · 文章 · 微调

具有冲突意识的大型语言模型联邦微调与专家混合方法

大型语言模型（LLMs）的持续扩展带来了巨大的计算成本，使得专家混合（MoE）成为一种可扩展的、通过稀疏激活实现高效微调的替代方案。尽管联邦学习（FL）作为隐私保护协作优化的范式逐渐兴起

作者:Yijun Lu, Zihan Fang, Pengpeng Qiao · 语言:en

前往原址学习

简介

大型语言模型（LLMs）的持续扩展带来了巨大的计算成本，使得专家混合（MoE）成为一种可扩展的、通过稀疏激活实现高效微调的替代方案。尽管联邦学习（FL）作为隐私保护协作优化的范式逐渐兴起

返回教程库 · 察元AI产品家族