察元AI教程库 · 文章 · 排行榜

基率效应对LLM基准性能的影响：区分测试策略与基准性能

填空测试是衡量大型语言模型在多个基准任务上表现的常用方法。使用MMLU数据集，我们发现不同答案词元的基线概率（BRP）差异显著，并影响任务表现，即在不确定时猜测A。我们发现

作者:Kyle Moore, Jesse Roberts, Thao Pham · 语言:en

简介