察元AI教程库 · 文章 · 智能体

CRAB-Bench：在复杂任务依赖和人类对齐用户模拟下评估LLM代理

在现实服务场景中评估LLM代理需要复杂的任务依赖、不完美的用户行为以及能够容纳多种有效解决方案的评估方法。我们引入了CRAB-Bench（基于约束的现实代理基准）和RUSE（现实用户仿真引擎）来解决

作者:Danqing Wang, Akshay Sivaraman, Lei Li · 语言:en

简介