察元AI教程库 · 文章 · 智能体

中断但未被遗忘：KV缓存保留破坏了语言代理的回滚一致性

状态化语言代理假设被拒绝的分支可以通过从应用传输中清除而被重新获取。我们表明，当服务会话在逻辑中止时保留关键/值（KV）状态时，这一假设会失效：模型可能继续关注应用认为已丢弃的内容。

作者:Guijia Zhang, Harry Yang · 语言:en

简介