察元AI教程库 · 文章 · 排行榜

语言模型代理为何会“吹哨”？

将大型语言模型（LLMs）作为工具使用代理部署时，其对齐训练表现出新的方式。最近的研究发现，语言模型可以以违背用户利益或明确指令的方式使用工具。我们研究了LLM“揭发”现象：这一现象是上述问题的一个子集

作者:Kushal Agrawal, Frank Xiao, Guido Bergman · 语言:en

前往原址学习

简介

将大型语言模型（LLMs）作为工具使用代理部署时，其对齐训练表现出新的方式。最近的研究发现，语言模型可以以违背用户利益或明确指令的方式使用工具。我们研究了LLM“揭发”现象：这一现象是上述问题的一个子集

返回教程库 · 察元AI产品家族