察元AI教程库 · 文章 · 大模型

大语言模型并非公平的评估者

在本文中，我们发现采用大型语言模型（LLMs）如GPT-4作为评审员来评估和比较候选模型生成响应质量的评估范式中存在系统性偏差。我们发现，通过简单手段即可轻易操纵候选响应的质量排名。

作者:Peiyi Wang, Lei Li, Liang Chen · 语言:en

前往原址学习

简介

在本文中，我们发现采用大型语言模型（LLMs）如GPT-4作为评审员来评估和比较候选模型生成响应质量的评估范式中存在系统性偏差。我们发现，通过简单手段即可轻易操纵候选响应的质量排名。

返回教程库 · 察元AI产品家族