察元AI教程库 · 文章 · 大模型

语言模型中的冻结Transformer在视觉编码器层中是有效的

本文揭示，尽管大型语言模型（LLMs）仅在文本数据上训练，但在没有语言的情况下，它们仍然是纯粹视觉任务的强大编码器。更引人入胜的是，这可以通过一个简单却被忽视的策略实现——使用冻结的文本编码器

作者:Ziqi Pang, Ziyang Xie, Yunze Man · 语言:en

前往原址学习

简介

本文揭示，尽管大型语言模型（LLMs）仅在文本数据上训练，但在没有语言的情况下，它们仍然是纯粹视觉任务的强大编码器。更引人入胜的是，这可以通过一个简单却被忽视的策略实现——使用冻结的文本编码器

返回教程库 · 察元AI产品家族