察元AI教程库 · 文章 · 部署

FreqDepthKV：基于频率引导的深度共享用于长上下文LLM推理中的鲁棒KV缓存压缩

长上下文LLM推理越来越受到KV缓存的内存和带宽成本的限制，但激进的压缩会消除用于检索和多步推理的层特定证据。我们引入了FreqDepthKV，一种推理时的缓存压缩方法，通过因子化相邻

作者:Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo · 语言:en

简介