察元AI教程库 · 文章 · 多模态
在本研究中，我们关注于由完全开放的多模态大语言模型（MLLMs）实现的视频字幕生成。由于视觉序列的复杂时间依赖性和长序列长度，对视觉序列的理解变得极具挑战。现有基于Transformer的方法的核心注意力机制在处理这些复杂性时存在局限。
作者:Daichi Yashima, Shuhei Kurita, Yusuke Oda · 语言:en
在本研究中，我们关注于由完全开放的多模态大语言模型（MLLMs）实现的视频字幕生成。由于视觉序列的复杂时间依赖性和长序列长度，对视觉序列的理解变得极具挑战。现有基于Transformer的方法的核心注意力机制在处理这些复杂性时存在局限。