察元AI教程库 · 文章 · 微调

通过损失自适应学习率实现无遗忘的微调

在新数据上微调大型语言模型可以提升任务性能，但会降低预训练期间学到的能力，这种现象被称为灾难性遗忘。现有方法通过修改微调目标来抑制高损失的token或序列来缓解这一问题，但这些

作者:Parjanya Prajakta Prashant, Jiongli Zhu, Aldan Creo · 语言:en

简介