察元AI教程库 · 文章 · 微调

我们是否需要标签正则化来微调预训练的语言模型？

知识蒸馏（KD）是一种重要的神经网络模型压缩技术，它依赖教师网络的预测来指导学生模型的训练。考虑到预训练语言模型（PLMs）规模的持续增长，KD在许多涉及PLMs的NLP任务中被广泛采用。然而，随着PLMs规模的扩大，KD在实际应用中

作者:Ivan Kobyzev, Aref Jafari, Mehdi Rezagholizadeh · 语言:en

前往原址学习

简介

知识蒸馏（KD）是一种重要的神经网络模型压缩技术，它依赖教师网络的预测来指导学生模型的训练。考虑到预训练语言模型（PLMs）规模的持续增长，KD在许多涉及PLMs的NLP任务中被广泛采用。然而，随着PLMs规模的扩大，KD在实际应用中

返回教程库 · 察元AI产品家族