察元AI教程库 · 文章 · 多模态

从视频中学习几何表示以提升多模态大语言模型的空间智能

多模态大语言模型(MLLMs)在二维语义理解方面表现出色,但缺乏内在的三维意识,导致其表示在视频帧之间无法保持几何和空间一致性。鉴于大规模3D数据的稀缺,我们提出了GeoVR,一种新颖的框架,该框架

作者:Haibo Wang, Lifu Huang · 语言:en

前往原址学习

简介

多模态大语言模型(MLLMs)在二维语义理解方面表现出色,但缺乏内在的三维意识,导致其表示在视频帧之间无法保持几何和空间一致性。鉴于大规模3D数据的稀缺,我们提出了GeoVR,一种新颖的框架,该框架

返回教程库 · 察元AI产品家族