察元AI教程库 · 文章 · 智能体

不可测量之可测：LLM代理的马尔可夫链可靠性

大型语言模型（LLM）代理正越来越多地作为顺序软件系统运行，但它们的可靠性通常仅通过标量基准指标来衡量。诸如pass$@k$、pass$^k$以及可靠性衰减曲线（RDC）等指标虽然有用，但无法识别成功时间分布

作者:Phat T. Tran-Truong, Xuan-Bach Le · 语言:en

前往原址学习

简介

大型语言模型（LLM）代理正越来越多地作为顺序软件系统运行，但它们的可靠性通常仅通过标量基准指标来衡量。诸如pass$@k$、pass$^k$以及可靠性衰减曲线（RDC）等指标虽然有用，但无法识别成功时间分布

返回教程库 · 察元AI产品家族