察元AI教程库 · 文章 · 大模型

思维的几何学：揭示Transformer作为热带多项式电路

我们证明，在高置信度区域（β→∞，其中β是逆温度）下，Transformer自注意力机制在热带半环（最大-加代数）中运作。具体而言，我们表明，对softmax注意力取热带极限会将其转化为一个热带

作者:Faruk Alpay, Bilge Senturk · 语言:en

简介