察元AI教程库 · 文章 · 大模型

FNetAR：结合自回归傅里叶变换的token混合

本文我们研究了FNet算法的自回归推广，其中标准Transformer架构中的自注意力层被基于傅里叶变换的简单稀疏均匀采样过程所替代。通过在Wikitext-103基准上进行测试，我们证明了

作者:Tim Lou, Michael Park, Mohammad Ramezanali · 语言:en

前往原址学习

简介

本文我们研究了FNet算法的自回归推广，其中标准Transformer架构中的自注意力层被基于傅里叶变换的简单稀疏均匀采样过程所替代。通过在Wikitext-103基准上进行测试，我们证明了

返回教程库 · 察元AI产品家族