察元AI教程库 · 文章 · 微调

用于Transformer掩码微调的梯度稀疏化

微调预训练的自监督语言模型在迁移学习到下游任务中被广泛采用。微调可以通过冻结预训练网络的梯度，仅更新新增分类层的梯度，或者对所有层进行梯度更新来实现

作者:James O' Neill, Sourav Dutta · 语言:en

前往原址学习

简介

微调预训练的自监督语言模型在迁移学习到下游任务中被广泛采用。微调可以通过冻结预训练网络的梯度，仅更新新增分类层的梯度，或者对所有层进行梯度更新来实现

返回教程库 · 察元AI产品家族