察元AI教程库 · 文章 · 大模型

路径积分形式中无限上下文Transformer的折叠上下文压缩

在本研究中，我们通过将Transformer的核心机制重新解释在路径积分形式化框架内，提出了一个通用的Transformer算法公式。从这个视角来看，注意力机制被重新解释为一个整合所有可能的转移路径以到达未来状态的过程

作者:Won-Gi Paeng, Daesuk Kwon, Kyungwon Jeong · 语言:en

简介