察元AI教程库 · 文章 · 大模型

带有堆叠注意力的Transformer

自然语言被认为具有（轻微的）上下文敏感性。尽管Transformer是强大语言模型的基础，但它们无法建模许多上下文无关的语言任务。为了弥补基于Transformer的语言模型在建模能力上的不足，我们提出

作者:Jiaoda Li, Jennifer C. White, Mrinmaya Sachan · 语言:en

简介