察元AI教程库 · 文章 · 部署

PolyKV：一种用于多智能体LLM推理的共享非对称压缩KV缓存池

我们提出了PolyKV，一种多个并发推理代理共享单一、非对称压缩的K-V缓存池的系统。与标准做法为每个代理分配独立的K-V缓存不同，PolyKV将压缩后的缓存一次性写入，并将其注入到N个独立的代理上下文中

作者:Ishan Patel, Ishan Joshi · 语言:en

简介