察元AI教程库 · 文章 · 多模态

MM-ShiftKV：面向多模态大语言模型的解码感知预填充阶段KV选择

键值（KV）缓存对多模态大语言模型（MLLMs）的高效推理至关重要，但其内存占用随上下文长度线性增长，由于大量视觉令牌的存在，成为主要瓶颈。最近的预填充阶段KV选择方法尝试估计KV重要性

作者:Jinsong Shu, Chenyang Wu, Zhongle Xie · 语言:en

简介