察元AI教程库 · 文章 · 部署

LLM推理中的非clairvoyant键值缓存调度

大型语言模型（LLM）推理由于Key-Value（KV）缓存而面临独特的调度挑战，一个作业的内存占用随解码token数量线性增长。这种增长使得调度决策与可行性紧密相关：调度器必须在硬性内存限制下最小化延迟

作者:Yiding Feng, Zonghan Yang, Yuhao Zhang · 语言:en

前往原址学习

简介

大型语言模型（LLM）推理由于Key-Value（KV）缓存而面临独特的调度挑战，一个作业的内存占用随解码token数量线性增长。这种增长使得调度决策与可行性紧密相关：调度器必须在硬性内存限制下最小化延迟

返回教程库 · 察元AI产品家族