察元AI教程库 · 文章 · 大模型

衡量什么才是重要的:大语言模型基准中的构造效度

评估大型语言模型(LLMs)对于评估其能力以及在部署前识别安全性或鲁棒性问题至关重要。可靠地测量诸如“安全性”和“鲁棒性”这类抽象且复杂的现象,需要具备强效构效,即测量标准必须能够准确反映这些概念。

作者:Andrew M. Bean, Ryan Othniel Kearns, Angelika Romanou · 语言:en

前往原址学习

简介

评估大型语言模型(LLMs)对于评估其能力以及在部署前识别安全性或鲁棒性问题至关重要。可靠地测量诸如“安全性”和“鲁棒性”这类抽象且复杂的现象,需要具备强效构效,即测量标准必须能够准确反映这些概念。

返回教程库 · 察元AI产品家族