察元AI教程库 · 文章 · 部署

EvolKV：用于大语言模型推理的进化式键值缓存压缩

现有的键值（KV）缓存压缩方法通常依赖启发式方法，如在各层之间均匀分配缓存或静态的淘汰策略，然而，它们忽略了层间特征模式与任务性能之间的关键相互作用，这可能导致泛化能力下降。

作者:Bohan Yu, Yekun Chai · 语言:en

简介