察元AI教程库 · 文章 · 大模型

在Transformer中微调预训练的循环神经网络

Transformer在自然语言生成方面优于循环神经网络（RNN）。但这也伴随着显著的计算成本，因为注意力机制的复杂度随序列长度呈二次增长。高效的Transformer变体近年来受到越来越多的关注

作者:Jungo Kasai, Hao Peng, Yizhe Zhang · 语言:en

前往原址学习

简介

Transformer在自然语言生成方面优于循环神经网络（RNN）。但这也伴随着显著的计算成本，因为注意力机制的复杂度随序列长度呈二次增长。高效的Transformer变体近年来受到越来越多的关注

返回教程库 · 察元AI产品家族