察元AI教程库 · 文章 · 大模型

通过结构化Dropout按需减少Transformer的深度

过参数化的Transformer网络在各种自然语言处理任务（如机器翻译、语言建模和问答）中取得了最先进的成果，这些模型包含数亿甚至数十亿参数，需要大量计算资源。

作者:Angela Fan, Edouard Grave, Armand Joulin · 语言:en

前往原址学习

简介

过参数化的Transformer网络在各种自然语言处理任务（如机器翻译、语言建模和问答）中取得了最先进的成果，这些模型包含数亿甚至数十亿参数，需要大量计算资源。

返回教程库 · 察元AI产品家族