察元AI教程库 · 文章 · 大模型
神经网络（如广泛采用的Transformer）的容量已知非常高。证据表明，它们通过训练过程中的归纳偏差（通常是梯度下降GD的变体）成功学习。为了更好地理解这种偏差，我们研究了Transformer在训练过程中表现出的倾向性。
作者:William Merrill, Vivek Ramanujan, Yoav Goldberg · 语言:en
神经网络（如广泛采用的Transformer）的容量已知非常高。证据表明，它们通过训练过程中的归纳偏差（通常是梯度下降GD的变体）成功学习。为了更好地理解这种偏差，我们研究了Transformer在训练过程中表现出的倾向性。