察元AI教程库 · 文章 · 微调
我们引入了AdaMoLE，一种用于微调大型语言模型（LLMs）的新方法，通过自适应低秩适应（LoRA）专家混合实现。与采用静态top-k策略激活专家的传统方法不同，AdaMoLE动态调整激活阈值使用
作者:Zefang Liu, Jiahua Luo · 语言:en
我们引入了AdaMoLE，一种用于微调大型语言模型（LLMs）的新方法，通过自适应低秩适应（LoRA）专家混合实现。与采用静态top-k策略激活专家的传统方法不同，AdaMoLE动态调整激活阈值使用