察元AI教程库 · 文章 · 部署
为大量用户服务大语言模型（LLMs）面临一个重大挑战，即临时状态的内存占用，即键值（KV）缓存，其规模随序列长度和请求数量而增长。与其租用或购买更昂贵的GPU相比，KV缓存的负载不平衡问题更为突出
作者:Liu Qianli, Hong Zicong, Chen Fahao · 语言:en
为大量用户服务大语言模型（LLMs）面临一个重大挑战，即临时状态的内存占用，即键值（KV）缓存，其规模随序列长度和请求数量而增长。与其租用或购买更昂贵的GPU相比，KV缓存的负载不平衡问题更为突出