察元AI教程库 · 文章 · 大模型
我们展示了一个大语言模型进行对齐伪装的演示:在训练过程中,选择性地遵循其训练目标,以防止其行为在训练过程中被修改。首先,我们给Claude 3 Opus提供一个系统提示,说明它正在被训练以回答所有查询,从而
作者:Ryan Greenblatt, Carson Denison, Benjamin Wright · 语言:en
我们展示了一个大语言模型进行对齐伪装的演示:在训练过程中,选择性地遵循其训练目标,以防止其行为在训练过程中被修改。首先,我们给Claude 3 Opus提供一个系统提示,说明它正在被训练以回答所有查询,从而