察元AI教程库 · 文章 · 智能体
对抗性输入会引导LLM代理的决策偏离其默认设置
LLM代理越来越多地在消费排序外部信息流(如社交流、搜索结果、检索上下文和邮件队列)后进行操作,然而,安全性评估几乎总是单独测试模型或用户提示,从未测试决定代理阅读内容的上游排序器
作者:Rana Muhammad Usman · 语言:en
前往原址学习
简介
LLM代理越来越多地在消费排序外部信息流(如社交流、搜索结果、检索上下文和邮件队列)后进行操作,然而,安全性评估几乎总是单独测试模型或用户提示,从未测试决定代理阅读内容的上游排序器
返回教程库 · 察元AI产品家族