察元AI教程库 · 文章 · 排行榜

大型语言模型基准数据集应具备抗污染能力

基准数据集对于大语言模型(LLMs)的可复现、可靠和可区分的评估至关重要。然而,最近的研究表明,许多基准数据集包含在预训练语料库中,即“被污染”,这降低了它们作为模型泛化能力可靠度量的价值

作者:Ali Al-Lawati, Jason Lucas, Dongwon Lee · 语言:en

前往原址学习

简介

基准数据集对于大语言模型(LLMs)的可复现、可靠和可区分的评估至关重要。然而,最近的研究表明,许多基准数据集包含在预训练语料库中,即“被污染”,这降低了它们作为模型泛化能力可靠度量的价值

返回教程库 · 察元AI产品家族