察元AI教程库 · 文章 · 微调
最近的研究表明,大型语言模型(LLMs)容易受到有害的微调攻击——在少量有害样本的微调后,模型会丧失其安全对齐能力。为了缓解这一风险,通常会使用护栏来在微调前过滤掉有害样本。通过设计
作者:Tiansheng Huang, Sihao Hu, Fatih Ilhan · 语言:en
最近的研究表明,大型语言模型(LLMs)容易受到有害的微调攻击——在少量有害样本的微调后,模型会丧失其安全对齐能力。为了缓解这一风险,通常会使用护栏来在微调前过滤掉有害样本。通过设计