察元AI教程库 · 文章 · 智能体

勿信工具：在不可信工具反馈下评估与防御大语言模型（LLM）代理

使用工具的LLM代理越来越多地依赖外部工具来做出具有重大影响的决策，但现有的代理安全基准和防御机制大多隐含地假设，一旦工具被选择，其反馈就是可信的。我们研究了一种不同的失败模式——认知中毒，其中恶意行为通过影响代理的推理过程来实现

作者:Lecheng Yan, Ruizhe Li, Xicheng Han · 语言:en

简介