察元AI教程库 · 文章 · 大模型

COOT：用于视频-文本表示学习的协作层次变换器

许多现实中的视频-文本任务涉及不同层次的粒度，例如帧和词、片段和句子，或视频和段落，每个层次具有不同的语义。本文我们提出了一种协作层次Transformer（COOT），以利用这种层次信息并建模

作者:Simon Ging, Mohammadreza Zolfaghari, Hamed Pirsiavash · 语言:en

简介