察元AI教程库 · 文章 · 大模型

MoA：为大语言模型参数高效微调设计的异构适配器混合方案

近期研究将低秩适应（LoRA）和专家混合（MoE）结合，进一步提升了大型语言模型（LLM）应用中参数高效微调（PEFT）方法的性能。现有方法采用同质的MoE-LoRA架构，由LoRA专家组成

作者:Jie Cao, Tianwei Lin, Bo Yuan · 语言:en

前往原址学习

简介

近期研究将低秩适应（LoRA）和专家混合（MoE）结合，进一步提升了大型语言模型（LLM）应用中参数高效微调（PEFT）方法的性能。现有方法采用同质的MoE-LoRA架构，由LoRA专家组成

返回教程库 · 察元AI产品家族