察元AI教程库 · 文章 · 智能体

TokenPilot：面向LLM智能体的缓存高效上下文管理

随着LLM代理在长周期会话中部署，上下文累积导致推理成本上升。现有方法通过文本修剪或动态内存回收来减少token占用；然而，这些无约束的序列突变会改变布局，引入前缀不匹配和缓存

作者:Buqiang Xu, Zirui Xue, Dianmou Chen · 语言:en

简介