察元AI教程库 · 文章 · 大模型
对有害提示的拒绝是指令微调大语言模型(LLMs)中的关键安全行为,但这种行为的内部原因仍不明确。我们研究了两个公开的指令微调模型,Gemma-2-2B-IT和LLaMA-3.1-8B-IT,使用稀疏自编码器(SAEs)进行训练,这些SAEs是基于
作者:Nirmalendu Prakash, Yeo Wei Jie, Amir Abdullah · 语言:en
对有害提示的拒绝是指令微调大语言模型(LLMs)中的关键安全行为,但这种行为的内部原因仍不明确。我们研究了两个公开的指令微调模型,Gemma-2-2B-IT和LLaMA-3.1-8B-IT,使用稀疏自编码器(SAEs)进行训练,这些SAEs是基于