察元AI教程库 · 文章 · 微调

应用软Triple损失进行监督语言模型微调

我们引入了一种新的损失函数TripleEntropy，以改进基于交叉熵和SoftTriple损失的细粒度通用知识预训练语言模型的分类性能。该损失函数可使基于交叉熵损失的RoBERTa基线模型在微调时性能提升约

作者:Witold Sosnowski, Anna Wroblewska, Piotr Gawrysiak · 语言:en

简介