察元AI教程库 · 文章 · 大模型
在大规模网络语料上预训练的大型语言模型在广泛的下游任务中表现出卓越的性能。然而，一个日益突出的问题是数据污染，即评估数据集可能包含在预训练语料中，从而导致模型性能被夸大。去污染，
作者:Medha Palavalli, Amanda Bertsch, Matthew R. Gormley · 语言:en
在大规模网络语料上预训练的大型语言模型在广泛的下游任务中表现出卓越的性能。然而，一个日益突出的问题是数据污染，即评估数据集可能包含在预训练语料中，从而导致模型性能被夸大。去污染，