察元AI教程库 · 文章 · 知识库

专家上下文并行解码用于检索增强生成

检索增强生成面临权衡：在长提示中拼接文档可实现多文档推理，但会引发prefill瓶颈；而单独编码文档的KV缓存虽能提升速度，却会破坏跨文档的交互。我们提出并行专家上下文解码

作者:Giulio Corallo, Paolo Papotti · 语言:en

前往原址学习

简介

检索增强生成面临权衡：在长提示中拼接文档可实现多文档推理，但会引发prefill瓶颈；而单独编码文档的KV缓存虽能提升速度，却会破坏跨文档的交互。我们提出并行专家上下文解码

返回教程库 · 察元AI产品家族