察元AI教程库 · 文章 · 大模型
大型语言模型（LLM）的对齐依赖于复杂的奖励信号，这些信号往往掩盖了被激励的具体行为，从而带来严重的对齐风险和奖励黑客风险。现有的解释方法通常依赖于预先定义的评判标准，可能遗漏“未知未知”问题
作者:Edward Chen, Sanmi Koyejo, Carlos Guestrin · 语言:en
大型语言模型（LLM）的对齐依赖于复杂的奖励信号，这些信号往往掩盖了被激励的具体行为，从而带来严重的对齐风险和奖励黑客风险。现有的解释方法通常依赖于预先定义的评判标准，可能遗漏“未知未知”问题