察元AI教程库 · 文章 · 知识库

ProphetKV：基于用户查询驱动的可选重计算，用于高效KV缓存复用的检索增强生成

长上下文检索增强生成（RAG）的prefill阶段严重受制于计算开销。为缓解这一问题，近期方法通过预先计算并组装用户查询所检索到的RAG文档的KV缓存，并重新处理选定的token以恢复跨注意力

作者:Shihao Wang, Jiahao Chen, Yanqi Pan · 语言:en

前往原址学习

简介

长上下文检索增强生成（RAG）的prefill阶段严重受制于计算开销。为缓解这一问题，近期方法通过预先计算并组装用户查询所检索到的RAG文档的KV缓存，并重新处理选定的token以恢复跨注意力

返回教程库 · 察元AI产品家族