察元AI教程库 · 文章 · 大模型

用于遗忘Transformer的自适应计算剪枝

最近提出的遗忘Transformer（FoX）在softmax注意力中引入了遗忘门，其性能始终优于或与标准RoPE-based Transformer相当。值得注意的是，FoX中的许多注意力头会迅速遗忘，导致每个时间步的输出

作者:Zhixuan Lin, Johan Obando-Ceron, Xu Owen He · 语言:en

前往原址学习

简介

最近提出的遗忘Transformer（FoX）在softmax注意力中引入了遗忘门，其性能始终优于或与标准RoPE-based Transformer相当。值得注意的是，FoX中的许多注意力头会迅速遗忘，导致每个时间步的输出

返回教程库 · 察元AI产品家族