察元AI教程库 · 文章 · 部署

SmallKV：小模型辅助的KV缓存压缩补偿，用于高效LLM推理

KV缓存的淘汰已成为缓解LLM在长上下文场景下资源约束的有效方法。然而，现有的基于标记的淘汰方法往往忽略了两个关键方面：（1）其不可逆的淘汰策略无法适应动态的注意力模式

作者:Yi Zhao, Yajuan Peng, Cam-Tu Nguyen · 语言:en

简介