察元AI教程库 · 文章 · 大模型

SPHINX：多模态大语言模型中权重、任务与视觉嵌入的联合混合

我们提出了SPHINX，一种多功能的多模态大语言模型（MLLM），通过模型权重、调优任务和视觉嵌入的联合混合实现。首先，为了增强视觉-语言对齐，我们在预训练期间解冻大型语言模型（LLM），并引入一种权重混合策略。

作者:Ziyi Lin, Chris Liu, Renrui Zhang · 语言:en

前往原址学习

简介

我们提出了SPHINX，一种多功能的多模态大语言模型（MLLM），通过模型权重、调优任务和视觉嵌入的联合混合实现。首先，为了增强视觉-语言对齐，我们在预训练期间解冻大型语言模型（LLM），并引入一种权重混合策略。

返回教程库 · 察元AI产品家族