察元AI教程库 · 文章 · 大模型
通过强化学习进行大语言模型对齐严重依赖于奖励函数的质量。然而,静态的、领域特定的奖励模型通常训练成本高昂,并且在强化学习迭代过程中遇到的分布外场景中表现出较差的泛化能力。我们提出了RLAR(Reinforcement Learning Alignment with Reward)方法
作者:Andrew Zhuoer Feng, Cunxiang Wang, Bosi Wen · 语言:en
通过强化学习进行大语言模型对齐严重依赖于奖励函数的质量。然而,静态的、领域特定的奖励模型通常训练成本高昂,并且在强化学习迭代过程中遇到的分布外场景中表现出较差的泛化能力。我们提出了RLAR(Reinforcement Learning Alignment with Reward)方法