察元AI教程库 · 文章 · 多模态
强化学习(RL)已成为增强多模态大语言模型(MLLM)推理能力的有效训练范式。然而,当前的RL流程通常因两个未被充分研究的问题而存在训练效率低下问题:优势坍塌,即模型在训练过程中优势信号逐渐消失
作者:Linghao Zhu, Yiran Guan, Dingkang Liang · 语言:en
强化学习(RL)已成为增强多模态大语言模型(MLLM)推理能力的有效训练范式。然而,当前的RL流程通常因两个未被充分研究的问题而存在训练效率低下问题:优势坍塌,即模型在训练过程中优势信号逐渐消失