察元AI教程库 · 文章 · 多模态

Q缓存：在多模态大语言模型的解码层中，视觉注意力在不到一半的层中具有价值

多模态大语言模型（MLLMs）因视觉编码器中视觉token数量过多而产生巨大的推理成本。冗余的视觉token带来了巨大的计算负担和关键-值（KV）缓存瓶颈。现有方法主要关注

作者:Jiedong Zhuang, Lu Lu, Ming Dai · 语言:en

简介