察元AI教程库 · 文章 · 微调

大型语言模型微调中的遗忘规律研究

我们研究并量化了在下游任务上微调预训练大型语言模型（LLMs）时出现遗忘问题。我们发现，参数高效的微调（PEFT）策略，如低秩适配器（LoRA），仍然存在灾难性遗忘。特别是，我们识别出一种

作者:Damjan Kalajdzievski · 语言:en

前往原址学习

简介

我们研究并量化了在下游任务上微调预训练大型语言模型（LLMs）时出现遗忘问题。我们发现，参数高效的微调（PEFT）策略，如低秩适配器（LoRA），仍然存在灾难性遗忘。特别是，我们识别出一种

返回教程库 · 察元AI产品家族