察元AI教程库 · 文章 · 微调

动态正交持续细调以缓解灾难性遗忘

灾难性遗忘仍然是大型语言模型（LLMs）持续学习中的一个关键挑战，当模型在新序列数据上进行微调时，由于无法访问历史数据集，模型在历史任务上的表现能力会显著下降。本文首先揭示了函数漂移的问题

作者:Zhixin Zhang, Zeming Wei, Meng Sun · 语言:en

简介