察元AI教程库 · 文章 · 插件

ContainmentBench:基于追踪的工具使用LLM代理暴露后遏制评估

使用工具的大型语言模型(LLM)代理会读取不受信任的内容、维护记忆、委托任务并调用具有外部副作用的工具。终端攻击成功或策略违规率无法揭示暴露与执行之间的过程,也无法说明防御措施是否也抑制了授权行为

作者:Wenhao Lan, Shan Li, Meiqi Wu · 语言:en

前往原址学习

简介

使用工具的大型语言模型(LLM)代理会读取不受信任的内容、维护记忆、委托任务并调用具有外部副作用的工具。终端攻击成功或策略违规率无法揭示暴露与执行之间的过程,也无法说明防御措施是否也抑制了授权行为

返回教程库 · 察元AI产品家族