察元AI教程库 · 文章 · 微调

AGFT：基于对齐引导的视觉语言模型零样本对抗鲁棒性微调

预训练的视觉-语言模型（VLMs）表现出强大的零样本泛化能力，但仍然容易受到对抗扰动的影响。现有的基于分类引导的对抗微调方法常常会破坏预训练的跨模态对齐，削弱视觉-文本对应关系，从而降低

作者:Yubo Cui, Xianchao Guan, Zijun Xiong · 语言:en

简介