察元AI教程库 · 文章 · 大模型

遗忘Transformer：带有遗忘门的Softmax注意力

现代递归序列模型的一个关键组成部分是遗忘门。尽管Transformer没有显式的递归形式，但我们表明可以通过以数据依赖的方式降低未归一化的注意力分数来自然地将遗忘门融入Transformer中。我们称这

作者:Zhixuan Lin, Evgenii Nikishin, Xu Owen He · 语言:en

简介