察元AI教程库 · 文章 · 大模型

用于对齐不良多模态语言序列的多模态变换器

人类语言通常是多模态的，包含自然语言、面部表情和声音行为的混合。然而，在建模此类多模态人类语言时间序列数据时，存在两个主要挑战：1）由于序列采样率不同导致的固有数据对齐问题

作者:Yao-Hung Hubert Tsai, Shaojie Bai, Paul Pu Liang · 语言:en

前往原址学习

简介

人类语言通常是多模态的，包含自然语言、面部表情和声音行为的混合。然而，在建模此类多模态人类语言时间序列数据时，存在两个主要挑战：1）由于序列采样率不同导致的固有数据对齐问题

返回教程库 · 察元AI产品家族