察元AI教程库 · 文章 · 大模型

下推层：在Transformer语言模型中编码递归结构

递归是人类语言的一个显著特征，而自注意力机制由于缺乏明确的递归状态跟踪机制，从根本上难以处理。因此，Transformer语言模型难以捕捉长尾递归结构，并表现出句法基因的样本效率低下

作者:Shikhar Murty, Pratyusha Sharma, Jacob Andreas · 语言:en

简介