察元AI教程库 · 文章 · 微调

预训练语言模型微调的监督对比学习

最先进的自然语言理解分类模型遵循两阶段流程：首先在辅助任务上预训练大型语言模型，然后在特定任务的标注数据集上使用交叉熵损失进行微调。然而，交叉熵损失存在若干不足之处

作者:Beliz Gunel, Jingfei Du, Alexis Conneau · 语言:en

前往原址学习

简介

最先进的自然语言理解分类模型遵循两阶段流程：首先在辅助任务上预训练大型语言模型，然后在特定任务的标注数据集上使用交叉熵损失进行微调。然而，交叉熵损失存在若干不足之处

返回教程库 · 察元AI产品家族