察元AI教程库 · 文章 · 微调

回放预训练数据可以提升微调效果

为了获得特定领域（如数学）的语言模型，当前范式是先在大量通用网络文本上进行预训练，然后在相对有限的目标数据上进行微调。通常，通用数据仅在微调过程中混合，以防止灾难性遗忘

作者:Suhas Kotha, Percy Liang · 语言:en

前往原址学习

简介

为了获得特定领域（如数学）的语言模型，当前范式是先在大量通用网络文本上进行预训练，然后在相对有限的目标数据上进行微调。通常，通用数据仅在微调过程中混合，以防止灾难性遗忘

返回教程库 · 察元AI产品家族