察元AI教程库 · 文章 · 部署

KeyDiff：基于键相似性的KV缓存淘汰机制，用于资源受限环境下的长上下文LLM推理

我们发现，在LLM推理过程中，几何上显著不同的键往往具有较高的注意力分数。基于这一现象，我们提出了KeyDiff，一种无需训练的KV缓存淘汰方法，仅基于键的相似性。与现有的KV缓存淘汰方法不同，KeyDiff能够处理任意长的

作者:Junyoung Park, Dalton Jones, Matthew J Morse · 语言:en

简介