察元AI教程库 · 文章 · 多模态

通过动态视觉-令牌退出加速多模态大语言模型,并提供实证发现

现有多模态大型语言模型(MLLMs)中视觉令牌的过度使用通常表现出明显的冗余,并带来极其昂贵的计算成本。为了深入理解这一问题,我们首先对MLLMs的注意力行为进行了广泛的实证研究,并总结

作者:Qiong Wu, Wenhao Lin, Yiyi Zhou · 语言:en

前往原址学习

简介

现有多模态大型语言模型(MLLMs)中视觉令牌的过度使用通常表现出明显的冗余,并带来极其昂贵的计算成本。为了深入理解这一问题,我们首先对MLLMs的注意力行为进行了广泛的实证研究,并总结

返回教程库 · 察元AI产品家族