察元AI教程库 · 文章 · 大模型

残差矩阵Transformer:扩展残差流的规模

残差流充当一个内存总线,其中Transformer层既存储又访问特征(Elhage等,2021)。我们考虑改变残差流中信息检索和存储的机制,并用外积记忆矩阵替换Transformer的残差流

作者:Brian Mak, Jeffrey Flanigan · 语言:en

前往原址学习

简介

残差流充当一个内存总线,其中Transformer层既存储又访问特征(Elhage等,2021)。我们考虑改变残差流中信息检索和存储的机制,并用外积记忆矩阵替换Transformer的残差流

返回教程库 · 察元AI产品家族