察元AI教程库 · 文章 · 微调

更高效的训练,更低的泄露:重新审视LoRA在大型语言模型微调中的记忆现象

在大型语言模型(LLMs)中,记忆现象使其容易受到数据提取攻击。尽管预训练阶段的记忆现象已被广泛研究,但关于其在微调阶段(尤其是LoRA微调)的影响研究较少,LoRA微调是一种广泛采用的参数高效方法。

作者:Fei Wang, Baochun Li · 语言:en

前往原址学习

简介

在大型语言模型(LLMs)中,记忆现象使其容易受到数据提取攻击。尽管预训练阶段的记忆现象已被广泛研究,但关于其在微调阶段(尤其是LoRA微调)的影响研究较少,LoRA微调是一种广泛采用的参数高效方法。

返回教程库 · 察元AI产品家族