察元AI教程库 · 文章 · 微调
大型语言模型（LLMs）的持续微调会引发灾难性遗忘。基于复习的方法通过保留少量旧数据来缓解此问题，但仍不可避免地导致性能下降。尽管为每个任务训练独立专家有助于预防性能下降，但实际应用中仍存在挑战。
作者:Zhilin Wang, Yafu Li, Xiaoye Qu · 语言:en
大型语言模型（LLMs）的持续微调会引发灾难性遗忘。基于复习的方法通过保留少量旧数据来缓解此问题，但仍不可避免地导致性能下降。尽管为每个任务训练独立专家有助于预防性能下降，但实际应用中仍存在挑战。