察元AI教程库 · 文章 · 多模态

HybridKV：一种高效的多模态大语言模型推理中的混合KV缓存压缩方法

多模态大语言模型（MLLMs）在文本、图像和视频的统一推理方面取得了显著进展，但其推理过程受到关键值（KV）缓存快速增长的限制。每个视觉输入会生成数千个令牌，导致缓存随上下文长度线性增长，且难以优化

作者:Bowen Zeng, Feiyang Ren, Jun Zhang · 语言:en

简介