察元AI教程库 · 文章 · 大模型

DenseFormer：通过深度加权平均增强变换器中的信息流

Vaswani等人（2017）提出的变换器架构如今已广泛应用于各个应用领域，从自然语言处理到语音处理和图像理解。我们提出了DenseFormer，这是一种对标准架构的简单修改，能够提高模型的困惑度

作者:Matteo Pagliardini, Amirkeivan Mohtashami, Francois Fleuret · 语言:en

简介