察元AI教程库 · 文章 · 多模态

StepPrune:在多模态大语言模型中进行自适应顺序视觉token选择

视觉前缀占多模态大语言模型(MLLMs)每层计算量的很大一部分,因此对视觉标记进行剪枝是一种直接加速推理的方法。现有top-K方法通常独立评估标记,并对所有输入应用统一预算,过

作者:Hansen Zhang, Landi He, Mingde Yao · 语言:en

前往原址学习

简介

视觉前缀占多模态大语言模型(MLLMs)每层计算量的很大一部分,因此对视觉标记进行剪枝是一种直接加速推理的方法。现有top-K方法通常独立评估标记,并对所有输入应用统一预算,过

返回教程库 · 察元AI产品家族