察元AI教程库 · 文章 · 大模型
大型稀疏前馈层（S-FFN）如专家混合（MoE）已被证明在扩展Transformer模型规模以进行大规模语言模型的预训练方面有效。通过根据输入只激活部分FFN参数，S-FFN提升了泛化性能。
作者:Zeyu Leo Liu, Tim Dettmers, Xi Victoria Lin · 语言:en
大型稀疏前馈层（S-FFN）如专家混合（MoE）已被证明在扩展Transformer模型规模以进行大规模语言模型的预训练方面有效。通过根据输入只激活部分FFN参数，S-FFN提升了泛化性能。