察元AI教程库 · 文章 · 微调

LMO-DP：优化大语言模型差分隐私微调的随机机制

差分隐私随机梯度下降（DP-SGD）及其变体已被提出，以确保对大规模预训练语言模型进行微调时的严格隐私保护。然而，它们严重依赖高斯机制，可能会过度扰动梯度，从而降低准确性

作者:Qin Yang, Meisam Mohammad, Han Wang · 语言:en

简介