察元AI教程库 · 文章 · 大模型

通过随机专家驯服稀疏激活的Transformer

稀疏激活模型（SAMs），如混合专家（MoE），可以轻松扩展到拥有极大量参数，而计算成本却不会显著增加。然而，SAMs被报告为参数效率低下，即更大的模型并不总是带来更好的性能。

作者:Simiao Zuo, Xiaodong Liu, Jian Jiao · 语言:en

前往原址学习

简介

稀疏激活模型（SAMs），如混合专家（MoE），可以轻松扩展到拥有极大量参数，而计算成本却不会显著增加。然而，SAMs被报告为参数效率低下，即更大的模型并不总是带来更好的性能。

返回教程库 · 察元AI产品家族