察元AI教程库 · 文章 · 大模型

大语言模型代理安全性的对抗强化学习

大型语言模型(LLM)代理可以利用如谷歌搜索等工具来完成复杂任务。然而,这种工具的使用会引入间接提示注入的风险,即恶意指令隐藏在工具输出中,可以操纵代理,带来数据泄露等安全风险。当前

作者:Zizhao Wang, Dingcheng Li, Vaishakh Keshava · 语言:en

前往原址学习

简介

大型语言模型(LLM)代理可以利用如谷歌搜索等工具来完成复杂任务。然而,这种工具的使用会引入间接提示注入的风险,即恶意指令隐藏在工具输出中,可以操纵代理,带来数据泄露等安全风险。当前

返回教程库 · 察元AI产品家族