察元AI教程库 · 文章 · 大模型
我们提出了一种新颖的架构——神经调制门控Transformer（NGT），它通过乘法效应实现了Transformer中的神经调制的简单实现。我们将其与基线方法进行了比较，并表明其在SuperGLUE基准验证集上取得了最佳的平均性能。
作者:Kobe Knowles, Joshua Bensemann, Diana Benavides-Prado · 语言:en
我们提出了一种新颖的架构——神经调制门控Transformer（NGT），它通过乘法效应实现了Transformer中的神经调制的简单实现。我们将其与基线方法进行了比较，并表明其在SuperGLUE基准验证集上取得了最佳的平均性能。