察元AI教程库 · 文章 · 排行榜

你的基准仍然有用吗？面向代码语言模型的动态基准测试

本文解决了一个模型评估中的关键问题：如何在模型可能在训练过程中已经见过这些基准的情况下，保持代码基准的实用性。我们引入了一种新颖的解决方案——动态基准框架，以应对这一挑战。给定一个代码理解或推理基准，

作者:Batu Guan, Xiao Wu, Yuanyuan Yuan · 语言:en

简介