察元AI教程库 · 文章 · 智能体
视觉-语言代理越来越多地在写入记忆、发送消息或调用外部工具之前，先消费屏幕截图、文档和用户界面。我们研究了在这种设置下的一个具体失败模式：动作边界传播，即敏感或不安全的可见文本从图像中被复制到文本中。
作者:Youting Wang, Yuan Tang, Yitian Qian · 语言:en
视觉-语言代理越来越多地在写入记忆、发送消息或调用外部工具之前，先消费屏幕截图、文档和用户界面。我们研究了在这种设置下的一个具体失败模式：动作边界传播，即敏感或不安全的可见文本从图像中被复制到文本中。