察元AI教程库 · 文章 · 大模型

高效大型语言模型服务：系统感知的KV缓存优化综述

尽管大语言模型（LLMs）取得了快速进展，但LLM服务系统仍然内存密集且成本高昂。关键值（KV）缓存，在自回归解码过程中存储KV张量，对于实现低延迟、高吞吐的LLM推理服务至关重要。本文综述了

作者:Jiantong Jiang, Peiyu Yang, Rui Zhang · 语言:en

前往原址学习

简介

尽管大语言模型（LLMs）取得了快速进展，但LLM服务系统仍然内存密集且成本高昂。关键值（KV）缓存，在自回归解码过程中存储KV张量，对于实现低延迟、高吞吐的LLM推理服务至关重要。本文综述了

返回教程库 · 察元AI产品家族