察元AI教程库 · 文章 · 智能体
大型语言模型(LLM)代理常常因继续执行注定会失败的多步轨迹而浪费推理计算资源。我们研究了LLM代理的早期失败预测和推理过程中早期停止,使用隐藏状态探针进行分析。在内部激活上使用轻量级线性探针进行预测
作者:Kai Ruan, Zihe Huang, Ziqi Zhou · 语言:en
大型语言模型(LLM)代理常常因继续执行注定会失败的多步轨迹而浪费推理计算资源。我们研究了LLM代理的早期失败预测和推理过程中早期停止,使用隐藏状态探针进行分析。在内部激活上使用轻量级线性探针进行预测