察元AI教程库 · 文章 · 大模型

RapidUn:一种基于影响力驱动的参数重加权高效大型语言模型去学习方法

从大型语言模型(LLMs)中去除特定数据的影响仍具挑战性,因为重新训练成本高昂,现有近似遗忘方法往往不稳定。当遗忘集较小或不平衡时,这一挑战更加突出。我们引入了RapidUn,一种基于影响驱动且参数驱动的快速遗忘方法。

作者:Guoshenghui Zhao, Huawei Lin, Weijie Zhao · 语言:en

前往原址学习

简介

从大型语言模型(LLMs)中去除特定数据的影响仍具挑战性,因为重新训练成本高昂,现有近似遗忘方法往往不稳定。当遗忘集较小或不平衡时,这一挑战更加突出。我们引入了RapidUn,一种基于影响驱动且参数驱动的快速遗忘方法。

返回教程库 · 察元AI产品家族