察元AI教程库 · 文章 · 多模态
通过先验校正的标记减少加速多模态大语言模型
视觉令牌减少已成为加速多模态大语言模型(MLLMs)的有效策略。许多现有方法通过排序文本-视觉注意力分数来修剪令牌。然而,我们发现注意力往往受到模型诱导先验的主导:即使没有文本指令
作者:Zengjie Chen, Yuxiang Cai, Jingcai Guo · 语言:en
前往原址学习
简介
视觉令牌减少已成为加速多模态大语言模型(MLLMs)的有效策略。许多现有方法通过排序文本-视觉注意力分数来修剪令牌。然而,我们发现注意力往往受到模型诱导先验的主导:即使没有文本指令
返回教程库 · 察元AI产品家族