察元AI教程库 · 文章 · 多模态
尽管大语言模型（LLMs）在实现类人对话方面表现出潜力，但它们主要基于文本数据进行预训练。引入音频或视频数据可以提升性能，但大规模多模态数据的收集以及多模态LLM的预训练仍面临挑战。为此，我们提出了一种……
作者:Shruti Palaskar, Oggi Rudovic, Sameer Dharur · 语言:en
尽管大语言模型（LLMs）在实现类人对话方面表现出潜力，但它们主要基于文本数据进行预训练。引入音频或视频数据可以提升性能，但大规模多模态数据的收集以及多模态LLM的预训练仍面临挑战。为此，我们提出了一种……