察元AI教程库 · 文章 · 智能体

对齐奖金:众包AI代理的不当行为

先进的AI系统有时会以与人类意图相悖的方式运作。为了收集清晰且可复现的实例,我们推出了“对齐奖金”项目:一个众包项目,旨在收集智能体追求非预期或不安全目标的案例。该奖金项目收到了295份提交,其中9份获得了奖励。

作者:Rustem Turtayev, Natalia Fedorova, Oleg Serikov · 语言:en

前往原址学习

简介

先进的AI系统有时会以与人类意图相悖的方式运作。为了收集清晰且可复现的实例,我们推出了“对齐奖金”项目:一个众包项目,旨在收集智能体追求非预期或不安全目标的案例。该奖金项目收到了295份提交,其中9份获得了奖励。

返回教程库 · 察元AI产品家族