察元AI教程库 · 文章 · 大模型

大型语言模型中的上下文自编码器用于上下文压缩

我们提出了上下文自编码器（ICAE），利用大型语言模型（LLM）的强大能力，将长上下文压缩为短而紧凑的内存槽，这些内存槽可以直接被LLM用于各种目的。ICAE首先通过自编码和语言建模两个任务进行预训练

作者:Tao Ge, Jing Hu, Lei Wang · 语言:en

前往原址学习

简介

我们提出了上下文自编码器（ICAE），利用大型语言模型（LLM）的强大能力，将长上下文压缩为短而紧凑的内存槽，这些内存槽可以直接被LLM用于各种目的。ICAE首先通过自编码和语言建模两个任务进行预训练

返回教程库 · 察元AI产品家族