察元AI教程库 · 文章 · 大模型

通过可学习谱分解实现的图拉普拉斯小波Transformer

现有的用于结构化语言任务的序列到序列模型严重依赖于点积自注意力机制，该机制在输入长度N下导致计算和内存的二次复杂度。我们引入了图小波变换器（GWT），一种新颖的架构，用以替代这一机制

作者:Andrew Kiruluta, Eric Lundy, Priscilla Burity · 语言:en

简介