察元AI教程库 · 文章 · 智能体

对齐 tipping 过程:自我进化如何推动大型语言模型代理偏离轨道

随着大型语言模型(LLM)代理越来越具备自我进化能力,能够通过与现实世界的互动来适应和优化其策略,其长期可靠性成为一个关键问题。我们识别出“对齐拐点过程”(ATP),这是一种在部署后特有的关键风险

作者:Siwei Han, Kaiwen Xiong, Jiaqi Liu · 语言:en

前往原址学习

简介

随着大型语言模型(LLM)代理越来越具备自我进化能力,能够通过与现实世界的互动来适应和优化其策略,其长期可靠性成为一个关键问题。我们识别出“对齐拐点过程”(ATP),这是一种在部署后特有的关键风险

返回教程库 · 察元AI产品家族