察元AI教程库 · 文章 · 智能体

AI代理中的操作幻觉与安全漂移

大型语言模型(LLMs)作为工具使用自主代理中的规划器,引入了多轮执行中的动态可靠性风险。虽然单轮安全机制相对成熟,但长时间的交互暴露了结构性的脆弱性,即初始对齐会随着时间推移而退化。

作者:Shasha Yu, Fiona Carroll, Barry L. Bentley · 语言:en

前往原址学习

简介

大型语言模型(LLMs)作为工具使用自主代理中的规划器,引入了多轮执行中的动态可靠性风险。虽然单轮安全机制相对成熟,但长时间的交互暴露了结构性的脆弱性,即初始对齐会随着时间推移而退化。

返回教程库 · 察元AI产品家族