察元AI教程库 · 文章 · 部署

使用PagedAttention实现大型语言模型服务的高效内存管理

为了实现大语言模型（LLMs）的高吞吐量服务，需要将足够多的请求进行批处理。然而，现有系统面临挑战，因为每个请求的键值缓存（KV cache）内存巨大，且会动态地增长和缩减。如果管理不当，这种内存会

作者:Woosuk Kwon, Zhuohan Li, Siyuan Zhuang · 语言:en

前往原址学习

简介

为了实现大语言模型（LLMs）的高吞吐量服务，需要将足够多的请求进行批处理。然而，现有系统面临挑战，因为每个请求的键值缓存（KV cache）内存巨大，且会动态地增长和缩减。如果管理不当，这种内存会

返回教程库 · 察元AI产品家族