察元AI教程库 · 文章 · 部署

SentenceKV：通过句子级语义键值缓存实现高效的LLM推理

大语言模型在处理长上下文时面临显著的计算和内存挑战。在推理过程中，高效管理键值（KV）缓存——用于自回归生成的中间激活存储——对于减少内存开销和提升性能至关重要

作者:Yuxuan Zhu, Ali Falahati, David H. Yang · 语言:en

简介