察元AI教程库 · 文章 · 大模型
评估大型语言模型（LLM）理解人类而非仅仅是文本的能力，仍然是一个开放的挑战。为填补这一空白，我们引入了“有意识的代理作为裁判”（SAGE），一个自动化评估框架，用于衡量LLM的高阶社会认知能力。SAGE通过模拟人类社会互动，评估模型对复杂情境的理解。
作者:Bang Zhang, Ruotian Ma, Qingxuan Jiang · 语言:en
评估大型语言模型（LLM）理解人类而非仅仅是文本的能力，仍然是一个开放的挑战。为填补这一空白，我们引入了“有意识的代理作为裁判”（SAGE），一个自动化评估框架，用于衡量LLM的高阶社会认知能力。SAGE通过模拟人类社会互动，评估模型对复杂情境的理解。