察元AI教程库 · 文章 · 部署

PrefixPlace：针对异构计算与传输成本的大型语言模型服务的可证明前缀键值放置方案

前缀键值（KV）重用避免了大型语言模型（LLM）推理中的重复prefill，但局部缺失需要重新计算或副本获取。其相对成本随硬件、前缀深度、KV吞吐量和副本位置而变化，使得基于命中率的放置策略并不理想。为解决这一问题

作者:Zhiyu Wang, Rajkumar Buyya · 语言:en

前往原址学习

简介

前缀键值（KV）重用避免了大型语言模型（LLM）推理中的重复prefill，但局部缺失需要重新计算或副本获取。其相对成本随硬件、前缀深度、KV吞吐量和副本位置而变化，使得基于命中率的放置策略并不理想。为解决这一问题

返回教程库 · 察元AI产品家族