察元AI教程库 · 文章 · 微调

使用用户级差分隐私微调大型语言模型

本文研究了在用户级差分隐私（DP）下训练大型语言模型（LLMs）的实用且可扩展的算法，以确保每个用户贡献的示例都能得到明确保护。我们研究了DP-SGD的两种变体：（1）示例级采样（ELS）和每个示例梯度

作者:Zachary Charles, Arun Ganesh, Ryan McKenna · 语言:en

前往原址学习

简介

本文研究了在用户级差分隐私（DP）下训练大型语言模型（LLMs）的实用且可扩展的算法，以确保每个用户贡献的示例都能得到明确保护。我们研究了DP-SGD的两种变体：（1）示例级采样（ELS）和每个示例梯度

返回教程库 · 察元AI产品家族