察元AI教程库 · 文章 · 大模型

DropDim：一种用于Transformer网络的正则化方法

我们引入DropDim，一种用于正则化自注意力机制的结构化dropout方法，这是变换器的关键组成部分。与通用dropout方法随机丢弃神经元不同，DropDim丢弃部分嵌入维度。通过这种方式，语义信息

作者:Hao Zhang, Dan Qu, Keji Shao · 语言:en

前往原址学习

简介

我们引入DropDim，一种用于正则化自注意力机制的结构化dropout方法，这是变换器的关键组成部分。与通用dropout方法随机丢弃神经元不同，DropDim丢弃部分嵌入维度。通过这种方式，语义信息

返回教程库 · 察元AI产品家族