察元AI教程库 · 文章 · 排行榜
最近的研究表明，基准问题的微小变化会降低LLMs的推理和记忆能力。我们探讨了两种此类变化：问题配对和增加答案选项，在三个基准上进行了研究：WMDP-bio、GPQA和MMLU变体。我们发现，对于更强大的模型，这些变化可预测地降低了推理和记忆能力。
作者:Igor Ivanov, Dmitrii Volkov · 语言:en
最近的研究表明，基准问题的微小变化会降低LLMs的推理和记忆能力。我们探讨了两种此类变化：问题配对和增加答案选项，在三个基准上进行了研究：WMDP-bio、GPQA和MMLU变体。我们发现，对于更强大的模型，这些变化可预测地降低了推理和记忆能力。