察元AI教程库 · 文章 · 大模型

Transformer工作记忆支持正规语言推理和自然语言长度外推

与循环模型不同，传统观点认为Transformer无法完美建模正规语言。受工作记忆概念的启发，我们提出了一种新的Transformer变体，名为RegularGPT。它结合了新颖的权重共享、自适应深度和滑动扩张注意力

作者:Ta-Chung Chi, Ting-Han Fan, Alexander I. Rudnicky · 语言:en

简介