察元AI教程库 · 文章 · 大模型

图记忆Transformer（GMT）

我们研究了在仅解码器的Transformer中，前馈网络（FFN）子层是否可以被一个显式学习的内存图所替代，同时保留其周围的自回归架构。所提出的图记忆Transformer（GMT）保持了因果自注意力，但用

作者:Nicola Zanarini, Niccolò Ferrari, Evelina Lamma · 语言:en

前往原址学习

简介

我们研究了在仅解码器的Transformer中，前馈网络（FFN）子层是否可以被一个显式学习的内存图所替代，同时保留其周围的自回归架构。所提出的图记忆Transformer（GMT）保持了因果自注意力，但用

返回教程库 · 察元AI产品家族