察元AI教程库 · 文章 · 微调

面向MoE大型语言模型的任务感知联邦微调

混合专家（MoE）已成为大型语言模型（LLMs）广泛采用的架构，它通过稀疏专家激活在提升模型容量的同时降低了计算开销。这一特性使基于MoE的LLMs在资源受限的分布式环境中特别有吸引力

作者:Tingqi Wang, Hongyu Ke, Haoxin Wang · 语言:en

前往原址学习

简介

混合专家（MoE）已成为大型语言模型（LLMs）广泛采用的架构，它通过稀疏专家激活在提升模型容量的同时降低了计算开销。这一特性使基于MoE的LLMs在资源受限的分布式环境中特别有吸引力

返回教程库 · 察元AI产品家族