察元AI教程库 · 文章 · 微调

使用零阶优化进行大型语言模型的私有微调

差分隐私随机梯度下降（DP-SGD）允许模型以隐私保护的方式进行训练，但在基础模型时代扩展起来却十分困难。我们引入了DP-ZO，一种用于大型语言模型的私有微调框架，通过私有化零阶优化

作者:Xinyu Tang, Ashwinee Panda, Milad Nasr · 语言:en

简介