察元AI教程库 · 文章 · 部署

LiteCache：一种基于查询相似性、以GPU为中心的KV缓存子系统，用于高效大语言模型推理

在LLM推理过程中，KV缓存的内存使用量随序列长度和批处理大小线性增长，通常会超过GPU的容量。最近的提议将KV状态卸载到主机内存，并通过top-k注意力减少传输。但这些方案在GPU缓存的CPU中心化管理以及CPU-GPU数据传输方面存在瓶颈

作者:Jiawei Yi, Ping Gong, Youhui Bai · 语言:en

简介