察元AI教程库 · 文章 · 排行榜

测试时的强化学习对齐暴露了LLM基准中的任务熟悉性偏差

直接在基准上评估LLMs可能会产生误导，因为相对较强的性能可能反映的是任务熟悉度，而非实际能力。训练前测试方法通过在评估前给每个模型提供与任务相关的训练来控制任务熟悉度，最初通过超

作者:Kun Wang, Reinhard Heckel · 语言:en

简介