察元AI教程库 · 文章 · 大模型
我们提出了Jamba，一种基于新颖的混合Transformer-Mamba混合专家（MoE）架构的新型基础大语言模型。具体而言，Jamba将Transformer和Mamba层交替使用，兼具两种模型家族的优势。在部分层中加入MoE以增加模型的多样性。
作者:Opher Lieber, Barak Lenz, Hofit Bata · 语言:en
我们提出了Jamba，一种基于新颖的混合Transformer-Mamba混合专家（MoE）架构的新型基础大语言模型。具体而言，Jamba将Transformer和Mamba层交替使用，兼具两种模型家族的优势。在部分层中加入MoE以增加模型的多样性。