察元AI教程库 · 文章 · 部署

ShadowKV：用于高吞吐长上下文LLM推理的KV缓存阴影技术

随着长上下文大语言模型（LLMs）的广泛部署，高效支持高吞吐量推理的需求日益增长。然而，随着序列长度的增加，键值（KV）缓存也随之增长，内存占用也随之增加，每次推理都需要访问该缓存

作者:Hanshi Sun, Li-Wen Chang, Wenlei Bao · 语言:en

前往原址学习

简介

随着长上下文大语言模型（LLMs）的广泛部署，高效支持高吞吐量推理的需求日益增长。然而，随着序列长度的增加，键值（KV）缓存也随之增长，内存占用也随之增加，每次推理都需要访问该缓存

返回教程库 · 察元AI产品家族