察元AI教程库 · 文章 · 知识库

忠实性并非免费：对检索增强生成中离线KV缓存量化进行审计

检索增强生成系统可以预先计算并存储检索到的文档的键值缓存，以避免在每次查询时重新编码上下文。对这些缓存进行量化可以进一步减少存储需求，但现有研究并未探讨压缩是否损害了忠实度，即响应是否仍基于

作者:Atta Ul Asad, Ahsan Bilal, Muhammad Ali · 语言:en

简介