察元AI教程库 · 文章 · 部署

理解KV卸载下高效服务大语言模型推理的瓶颈

KV缓存卸载通过将缓存存储在CPU DRAM中，实现了长上下文LLM推理，但PCIe带宽限制造成了严重的瓶颈。本文提出了一种分析框架，推导出$κ_{\text{crit}}$，即执行变得内存受限的临界缓存与预填充token比例

作者:William Meng, Benjamin Lee, Hong Wang · 语言:en

简介