察元AI教程库 · 文章 · 插件

对使用工具的语言代理进行自动化评估、错误传播及运行时缓解的审计

对使用工具的大语言模型(LLM)代理进行自动化评估被普遍认为是可靠的,但这一假设很少通过人类标注进行验证。我们提出了AgentProp-Bench,这是一个包含14,790个执行轨迹的诊断基准,来自十三个LLM代理(九个专有,四个开源)

作者:Bhaskar Gurram · 语言:en

前往原址学习

简介

对使用工具的大语言模型(LLM)代理进行自动化评估被普遍认为是可靠的,但这一假设很少通过人类标注进行验证。我们提出了AgentProp-Bench,这是一个包含14,790个执行轨迹的诊断基准,来自十三个LLM代理(九个专有,四个开源)

返回教程库 · 察元AI产品家族