察元AI教程库 · 文章 · 智能体
现有基准衡量的是能力——即模型是否在单次尝试中成功——但生产部署需要的是可靠性——即在不同持续时间的任务中反复尝试都能持续成功。我们证明，随着任务持续时间的增长，这些属性系统性地分化，且通过测试验证，这些差异对任务的最终结果有显著影响。
作者:Aaditya Khanal, Yangyang Tao, Junxiu Zhou · 语言:en
现有基准衡量的是能力——即模型是否在单次尝试中成功——但生产部署需要的是可靠性——即在不同持续时间的任务中反复尝试都能持续成功。我们证明，随着任务持续时间的增长，这些属性系统性地分化，且通过测试验证，这些差异对任务的最终结果有显著影响。