察元AI教程库 · 文章 · 大模型

关于学习Transformer核函数的研究

本文介绍了一种名为KERNELIZED TRANSFORMER的通用、可扩展、数据驱动的框架，用于学习Transformer中的核函数。我们的框架将Transformer核函数近似为谱特征图之间的点积，并通过学习谱分布来学习核函数

作者:Sankalan Pal Chowdhury, Adamos Solomou, Avinava Dubey · 语言:en

简介