察元AI教程库 · 文章 · 大模型

跟我说一遍：变换器在复制任务上优于状态空间模型

Transformer是序列建模的主流架构，但近年来对使用固定大小潜在状态且不依赖于序列长度的模型兴趣日益浓厚，我们称之为“广义状态空间模型”（GSSMs）。本文展示了，尽管GSSMs具有潜力，但

作者:Samy Jelassi, David Brandfonbrener, Sham M. Kakade · 语言:en

简介