察元AI教程库 · 文章 · 多模态
我们介绍了Lumos，这是一个具有文本理解能力的端到端多模态问答系统。Lumos的核心是一个场景文字识别（STR）组件，该组件从第一人称视角图像中提取文本，其输出被用来增强输入到多模态模型的输入。
作者:Ashish Shenoy, Yichao Lu, Srihari Jayakumar · 语言:en
我们介绍了Lumos，这是一个具有文本理解能力的端到端多模态问答系统。Lumos的核心是一个场景文字识别（STR）组件，该组件从第一人称视角图像中提取文本，其输出被用来增强输入到多模态模型的输入。