察元AI教程库 · 文章 · 微调

G-Loss：基于图引导的语言模型微调

传统的损失函数，包括交叉熵、对比、三元和监督对比损失，用于微调预训练语言模型（如BERT）时，仅在局部邻域内运作，无法考虑全局语义结构。我们提出了G-Loss，一种基于图的

作者:Aditya Sharma, Vinti Agarwal, Rajesh Kumar · 语言:en

前往原址学习

简介

传统的损失函数，包括交叉熵、对比、三元和监督对比损失，用于微调预训练语言模型（如BERT）时，仅在局部邻域内运作，无法考虑全局语义结构。我们提出了G-Loss，一种基于图的

返回教程库 · 察元AI产品家族