察元AI教程库 · 文章 · 大模型

阿谀奉承到诡计：研究大语言模型中的奖励篡改

在强化学习中，当AI系统学习到由于训练目标描述不准确而被高度奖励的不期望行为时，就会发生规范游戏。规范游戏可能从简单的行为（如阿谀）到复杂的、有害的行为（如奖励篡改）不等，其中

作者:Carson Denison, Monte MacDiarmid, Fazl Barez · 语言:en

简介