察元AI教程库 · 文章 · 大模型

大语言模型服务中的近似/频率自适应键值缓存

键值（KV）缓存是一种加速大型语言模型推理和生成的强大技术。推理工作负载庞大且多样化，这使得有效缓存变得困难。现有的缓存管理策略采用最近最少使用策略来驱逐缓存块

作者:Yang Shen, Meghana Madhyastha, Robert Underwood · 语言:en

简介