察元AI教程库 · 文章 · 智能体
软件工程（SE）AI代理的基准测试（如SWE-bench）推动了AI代理编程能力的发展。然而，这些基准测试忽略了关键的开发者工作流程，如版本控制系统（VCS）操作。为解决此问题，我们提出了GitGoodBench，一种新颖的基准测试。
作者:Tobias Lindenbauer, Egor Bogomolov, Yaroslav Zharov · 语言:en
软件工程（SE）AI代理的基准测试（如SWE-bench）推动了AI代理编程能力的发展。然而，这些基准测试忽略了关键的开发者工作流程，如版本控制系统（VCS）操作。为解决此问题，我们提出了GitGoodBench，一种新颖的基准测试。