察元AI教程库 · 文章 · 智能体
LLM智能体积累了大量的推理步骤、工具调用和环境反馈轨迹，使得KV缓存成为主要的推理瓶颈。通过压缩KV缓存可以降低这一成本，但大多数现有方法都假设上下文是静态的，即未来查询已知或可离线近似。
作者:Yujian Liu, Jiabao Ji, Li An · 语言:en
LLM智能体积累了大量的推理步骤、工具调用和环境反馈轨迹，使得KV缓存成为主要的推理瓶颈。通过压缩KV缓存可以降低这一成本，但大多数现有方法都假设上下文是静态的，即未来查询已知或可离线近似。