察元AI教程库 · 文章 · 部署

DualDecoder：通过预测预取加速长上下文LLM推理

长上下文推理已成为现代LLM服务的基本能力，尤其在新兴的代理应用中驱动。然而，它面临严重的内存墙问题，即KV缓存随上下文长度和请求并发量的增加而成比例增长。现有的稀疏KV缓存方法

作者:Zuning Liang, Zhiyi Yao, Qi Chen · 语言:en

简介