察元AI教程库 · 文章 · 提示词

成绩评分：量化LLM在选项选择中的表现

本研究引入了“等级评分”这一新指标，用于评估大型语言模型（LLMs）作为多选题评判者时在顺序偏差和选项一致性方面的表现一致性与公平性。等级评分结合了熵（用于衡量顺序偏差）和模式频率

作者:Dmitri Iourovitski · 语言:en

前往原址学习

简介

本研究引入了“等级评分”这一新指标，用于评估大型语言模型（LLMs）作为多选题评判者时在顺序偏差和选项一致性方面的表现一致性与公平性。等级评分结合了熵（用于衡量顺序偏差）和模式频率

返回教程库 · 察元AI产品家族