察元AI教程库 · 文章 · 大模型

SimpleTRON：具有O(N)复杂度的简单变换器

在本文中，我们提出点积成对匹配注意力层，这种在基于Transformer的模型中广泛使用的机制，对模型性能而言是冗余的。注意力机制在原始形式中，更应被视为一种人类级别的工具，用于探索和/或可视化相关性分数

作者:Uladzislau Yorsh, Alexander Kovalenko, Vojtěch Vančura · 语言:en

简介