察元AI教程库 · 文章 · 部署

HeteroCache：一种面向异构KV缓存压缩的动态检索方法，用于长上下文LLM推理

KV缓存的线性内存增长对LLM在长上下文任务中的推理构成了显著瓶颈。现有的静态压缩方法往往无法保留全局重要的信息。尽管近期的动态检索方法试图解决这一问题，但通常仍存在

作者:Zhiyuan Shi, Qibo Qiu, Feng Xue · 语言:en

简介