察元AI教程库 · 文章 · 微调

手术：通过注意力下沉缓解大型语言模型微调中的有害影响

有害的微调会破坏大型语言模型的安全对齐，暴露重大安全风险。本文利用注意力沉降机制来缓解有害微调。具体而言，我们首先为每个注意力头测量一个名为“沉降发散”的统计量，并

作者:Guozhi Liu, Weiwei Lin, Tiansheng Huang · 语言:en

简介