察元AI教程库 · 文章 · 微调

大型语言模型在持续微调过程中灾难性遗忘的实证研究

灾难性遗忘(CF)是机器学习中的一种现象,当模型在获取新知识以实现下游任务的良好表现时,会遗忘先前学到的信息。随着大型语言模型(LLMs)展现出卓越的性能,这一问题

作者:Yun Luo, Zhen Yang, Fandong Meng · 语言:en

前往原址学习

简介

灾难性遗忘(CF)是机器学习中的一种现象,当模型在获取新知识以实现下游任务的良好表现时,会遗忘先前学到的信息。随着大型语言模型(LLMs)展现出卓越的性能,这一问题

返回教程库 · 察元AI产品家族