察元AI教程库 · 文章 · 部署

GroupKV：用于长上下文扩散LLM推理的层次化KV缓存管理

扩散大语言模型（dLLMs）正作为一种有前景的生成范式，与自回归解码相辅相成。在长上下文场景中，KV缓存膨胀和卸载传输开销已成为推理系统的主要瓶颈。同时，周期性全序列重计算

作者:Jinhao Wang, Zhexin Hu, Kangjie Zhou · 语言:en

简介