察元AI教程库 · 文章 · 多模态

LV-XAttn:多模态大语言模型中长视觉输入的分布式交叉注意力

交叉注意力在多模态大语言模型(MLLMs)中被广泛采用,用于将视觉信息整合到语言骨干中。然而,在涉及大量视觉输入的应用场景(如视频理解)中,处理交叉注意力层中的大量视觉标记会导致

作者:Tzu-Tao Chang, Shivaram Venkataraman · 语言:en

前往原址学习

简介

交叉注意力在多模态大语言模型(MLLMs)中被广泛采用,用于将视觉信息整合到语言骨干中。然而,在涉及大量视觉输入的应用场景(如视频理解)中,处理交叉注意力层中的大量视觉标记会导致

返回教程库 · 察元AI产品家族