察元AI教程库 · 文章 · 部署

CompressKV：基于语义检索的KV缓存压缩方法，用于高效长上下文LLM推理

长上下文大型语言模型（LLM）推理越来越受到关键值（KV）缓存的内存占用和解码成本的限制，这使得在资源受限的硬件上可持续部署变得困难。现有的KV缓存淘汰方法通常基于对所有头的启发式token评分

作者:Xiaolin Lin, Jingcun Wang, Olga Kondrateva · 语言:en

前往原址学习

简介

长上下文大型语言模型（LLM）推理越来越受到关键值（KV）缓存的内存占用和解码成本的限制，这使得在资源受限的硬件上可持续部署变得困难。现有的KV缓存淘汰方法通常基于对所有头的启发式token评分

返回教程库 · 察元AI产品家族