察元AI教程库 · 文章 · 大模型

Transformer记忆作为可微分的搜索索引

本文我们证明，通过单个Transformer模型即可实现信息检索，其中整个语料库的信息都编码在模型的参数中。为此，我们引入了可微搜索索引（DSI），一种新范式，它学习一种文本到文本模式

作者:Yi Tay, Vinh Q. Tran, Mostafa Dehghani · 语言:en

前往原址学习

简介

本文我们证明，通过单个Transformer模型即可实现信息检索，其中整个语料库的信息都编码在模型的参数中。为此，我们引入了可微搜索索引（DSI），一种新范式，它学习一种文本到文本模式

返回教程库 · 察元AI产品家族