察元AI教程库 · 文章 · 部署

通过跨层级GPU异构性实现高效的多模态LLM推理

多模态大型语言模型（MLLM）推理分为两个阶段，其硬件需求相反：视觉编码是计算密集型的，而语言生成则是内存带宽密集型的。我们表明，在标准的Transformer KV缓存下，模态边界（视觉编码器与语言生成之间的边界）会

作者:Donglin Yu · 语言:en

简介