察元AI教程库 · 文章 · 部署

NetKV：一种基于网络感知的解码实例选择方法，用于分散式LLM推理

解耦的LLM推理迫使KV缓存在解码开始前穿越数据中心网络，因此传输时间直接计入首次token生成时间（TTFT）预算。当前的调度器仅基于计算负载和前缀缓存局部性进行路由，忽略了拓扑距离和动态变化的

作者:Mubarak Adetunji Ojewale · 语言:en

简介