察元AI教程库 · 文章 · 大模型

双流变换器：用于可解释语言建模的通道化架构

标准的Transformer将所有计算整合到单一的残差流中，掩盖了各个组件执行的功能。我们引入了双流Transformer，将残差流分解为两个功能上不同的组件：一个由注意力更新的标记流，以及一个上下文

作者:J. Clayton Kerce, Alexis Fox · 语言:en

简介