察元AI教程库 · 文章 · 大模型

对预训练变换器模型中冗余的分析

基于Transformer的深度自然语言处理模型训练时使用数亿参数，限制了其在计算资源受限环境中的应用。本文通过定义冗余概念来研究这些限制的原因，我们将冗余分为两类：一般冗余和

作者:Fahim Dalvi, Hassan Sajjad, Nadir Durrani · 语言:en

前往原址学习

简介

基于Transformer的深度自然语言处理模型训练时使用数亿参数，限制了其在计算资源受限环境中的应用。本文通过定义冗余概念来研究这些限制的原因，我们将冗余分为两类：一般冗余和

返回教程库 · 察元AI产品家族