察元AI教程库 · 文章 · 大模型

关联状态通用变换器：稀疏检索与结构化递归的结合

我们研究了结构化递归状态是否可以作为语言建模的紧凑关联骨干，同时仍支持精确检索。我们引入了UniMatrix，一种通用变换器风格家族，它在深度上复用共享的递归模块，并通过混合状态更新进行增强

作者:Liu Xiao · 语言:en

简介