察元AI教程库 · 文章 · 大模型

Transformer-XL：超越固定长度上下文的注意力语言模型

Transformer有学习长期依赖的潜力，但在语言建模中受限于固定长度的上下文。我们提出了一种新颖的神经架构Transformer-XL，能够在不破坏时间一致性的情况下实现超越固定长度的依赖学习。它使

作者:Zihang Dai, Zhilin Yang, Yiming Yang · 语言:en

简介