察元AI教程库 · 文章 · 大模型

通过重新排序子层来改进Transformer模型

多层Transformer网络由交替的自注意力和前馈子层组成。如果以不同的模式排列这些子层，是否能带来更好的性能？我们生成了随机排列的Transformer，并以语言建模目标进行训练。我们观察到，其中一些

作者:Ofir Press, Noah A. Smith, Omer Levy · 语言:en

简介