察元AI教程库 · 文章 · 微调

代码语言模型会记住多少?关于微调前后的数据提取攻击调查

代码语言模型虽然广受欢迎,但通常是在从互联网收集的未经清洗的源代码上进行训练。先前的研究表明,预训练模型可以记住其训练数据的内容,并通过数据提取攻击将其原样复述出来。由于代码库的规模巨大,

作者:Fabio Salerno, Ali Al-Kaswan, Maliheh Izadi · 语言:en

前往原址学习

简介

代码语言模型虽然广受欢迎,但通常是在从互联网收集的未经清洗的源代码上进行训练。先前的研究表明,预训练模型可以记住其训练数据的内容,并通过数据提取攻击将其原样复述出来。由于代码库的规模巨大,

返回教程库 · 察元AI产品家族