察元AI教程库 · 文章 · 大模型

Transformer层之间持久的循环记忆——提升语言模型的泛化能力

我们提出了一种简单的解码器-only Transformer架构修改：一个持久的递归状态，通过交叉注意力观察隐藏表示，通过GRU更新自身，并通过门控加法调节后续处理。该修改被插入到模型的下半部分和上半部分之间

作者:Eduardo Novaes Hering · 语言:en

简介