察元AI教程库 · 文章 · 部署

无线边缘LLM推理中的空间前缀缓存：一种基于随机几何与排队理论的框架

前缀缓存复用共享提示前缀的键-值（KV）状态，可以显著减少大语言模型（LLM）推理的首令牌时间（TTFT）。然而，在无线边缘网络中，前缀状态被分散在地理上分离的GPU节点上。一个附近的节点

作者:Le Yang, Zhouyong Liu · 语言:en

前往原址学习

简介

前缀缓存复用共享提示前缀的键-值（KV）状态，可以显著减少大语言模型（LLM）推理的首令牌时间（TTFT）。然而，在无线边缘网络中，前缀状态被分散在地理上分离的GPU节点上。一个附近的节点

返回教程库 · 察元AI产品家族