察元AI教程库 · 文章 · 微调
当代视觉-语言模型(VLMs)通过将视觉编码器与预训练的语言模型结合,并针对视觉-文本输入进行微调,从而在多种任务上表现出优异性能。然而,尽管取得了这些进展,语言骨干表示在多模态任务中的适应机制仍不明确
作者:Lachin Naghashyar, Hunar Batra, Ashkan Khakzar · 语言:en
当代视觉-语言模型(VLMs)通过将视觉编码器与预训练的语言模型结合,并针对视觉-文本输入进行微调,从而在多种任务上表现出优异性能。然而,尽管取得了这些进展,语言骨干表示在多模态任务中的适应机制仍不明确