察元AI教程库 · 文章 · 大模型

保留网络：一种基于Transformer的大型语言模型的继承者

本文提出了一种名为保留网络（RetNet）的大型语言模型基础架构，同时实现了训练并行、低成本推理和良好性能。我们从理论上推导了递归与注意力之间的关系，然后提出了保留

作者:Yutao Sun, Li Dong, Shaohan Huang · 语言:en

简介