察元AI教程库 · 文章 · 部署

SuperInfer：面向超级芯片的LLM推理的SLO感知旋转调度与内存管理

大型语言模型（LLM）服务面临一个根本性的矛盾：即对严格延迟服务级别目标（SLO）的要求与有限的GPU内存容量之间的冲突。当高请求率耗尽KV缓存预算时，现有的LLM推理系统通常会遭受严重的头部阻塞（HOL blocking）。尽管先前的工作

作者:Jiahuan Yu, Mingtao Hu, Zichao Lin · 语言:en

前往原址学习

简介

大型语言模型（LLM）服务面临一个根本性的矛盾：即对严格延迟服务级别目标（SLO）的要求与有限的GPU内存容量之间的冲突。当高请求率耗尽KV缓存预算时，现有的LLM推理系统通常会遭受严重的头部阻塞（HOL blocking）。尽管先前的工作

返回教程库 · 察元AI产品家族