察元AI教程库 · 文章 · 大模型

从栏杆到皮埃尔·欣克：在变换器自注意力中寻找句法

我们检查了Transformer NMT编码器中三种源语言的多头自注意力机制，寻找可能具有句法解释的模式。在许多注意力头中，我们经常发现连续状态对同一位置进行关注的序列，这类似于句法

作者:David Mareček, Rudolf Rosa · 语言:en

简介