察元AI教程库 · 文章 · 微调

MoFO：用于缓解大语言模型微调中遗忘问题的动量过滤优化器

大型语言模型（LLMs）在各种任务上展现出卓越的能力。通常，LLMs首先在大规模语料库上进行预训练，然后在特定任务数据集上进行微调。然而，在微调过程中，LLMs可能会遗忘预训练阶段获得的部分知识。

作者:Yupeng Chen, Senmiao Wang, Yushun Zhang · 语言:en

前往原址学习

简介

大型语言模型（LLMs）在各种任务上展现出卓越的能力。通常，LLMs首先在大规模语料库上进行预训练，然后在特定任务数据集上进行微调。然而，在微调过程中，LLMs可能会遗忘预训练阶段获得的部分知识。

返回教程库 · 察元AI产品家族