察元AI教程库 · 文章 · 智能体

AgentHarm：衡量LLM代理有害性的基准

LLM对“越狱攻击”的鲁棒性，即用户设计提示以绕过安全措施并滥用模型能力，主要是在LLM作为简单聊天机器人时进行研究的。而LLM代理——它们使用外部工具并能执行多阶段任务——可能带来更大的风险

作者:Maksym Andriushchenko, Alexandra Souly, Mateusz Dziemian · 语言:en

简介