察元AI教程库 · 文章 · 大模型
基于注意力机制的Transformer在多个领域和模态中成功建模了生成过程。本文研究了Transformer在来自k阶马尔可夫过程数据上的行为，其中序列中下一个符号的条件分布依赖于前一个符号。
作者:Nived Rajaraman, Marco Bondaschi, Kannan Ramchandran · 语言:en
基于注意力机制的Transformer在多个领域和模态中成功建模了生成过程。本文研究了Transformer在来自k阶马尔可夫过程数据上的行为，其中序列中下一个符号的条件分布依赖于前一个符号。