察元AI教程库 · 文章 · 大模型

视频对话中的动态图表示学习：基于多模态打乱的Transformer

给定一个输入视频、其相关的音频以及一个简短的标题，音频-视觉场景感知对话（AVSD）任务要求一个代理与人类进行问答对话，讨论音频-视觉内容。因此，该任务提出了一个具有挑战性的多模态表示学习和推理

作者:Shijie Geng, Peng Gao, Moitreya Chatterjee · 语言:en

前往原址学习

简介

给定一个输入视频、其相关的音频以及一个简短的标题，音频-视觉场景感知对话（AVSD）任务要求一个代理与人类进行问答对话，讨论音频-视觉内容。因此，该任务提出了一个具有挑战性的多模态表示学习和推理

返回教程库 · 察元AI产品家族