察元AI教程库 · 文章 · 大模型

Transformer 是否需要深层长程记忆？

深度注意力模型在许多领域中推动了序列数据的建模。在语言建模方面，Transformer-XL——一种通过长程记忆过去激活增强的Transformer——在各种广泛研究的基准上已被证明是前沿的。

作者:Jack W. Rae, Ali Razavi · 语言:en

前往原址学习

简介

深度注意力模型在许多领域中推动了序列数据的建模。在语言建模方面，Transformer-XL——一种通过长程记忆过去激活增强的Transformer——在各种广泛研究的基准上已被证明是前沿的。

返回教程库 · 察元AI产品家族