察元AI教程库 · 文章 · 大模型

Fast-Slow Transformer用于视觉语义的语音接地

我们提出了Fast-Slow Transformer用于视觉语音关联，即FaST-VGS。FaST-VGS是一种基于Transformer的模型，用于学习原始语音波形与视觉图像之间的关联。该模型将双编码器和交叉注意力架构统一到一个模型中，充分利用了其优越的

作者:Puyuan Peng, David Harwath · 语言:en

简介