察元AI教程库 · 文章 · 智能体
大型语言模型(LLMs)作为工具使用自主代理中的规划器,引入了多轮执行中的动态可靠性风险。虽然单轮安全机制相对成熟,但长时间的交互暴露了结构性的脆弱性,即初始对齐会随着时间推移而退化。
作者:Shasha Yu, Fiona Carroll, Barry L. Bentley · 语言:en
大型语言模型(LLMs)作为工具使用自主代理中的规划器,引入了多轮执行中的动态可靠性风险。虽然单轮安全机制相对成熟,但长时间的交互暴露了结构性的脆弱性,即初始对齐会随着时间推移而退化。