察元AI教程库 · 文章 · 大模型

潜层循环Transformer：架构探索、训练策略及扩展行为

我们研究了潜递归Transformer（LRT），这是一种轻量级的自回归Transformer的增强方法，它将前一个标记的高层源层隐藏状态作为下一个标记的递归记忆。由于该状态在普通解码过程中已经计算过，LRT引入了

作者:Zeyi Huang, Xuehai He, LiLiang Ren · 语言:en

简介