察元AI教程库 · 文章 · 部署

KV缓存的治理：防止多租户LLM推理中的时序侧信道泄露

键值（KV）缓存是现代大语言模型（LL ）推理中的主要吞吐量优化，它实现了请求间前缀的复用。在多租户部署中，该缓存被多个租户共享，从而形成一个时间侧信道：一个恶意租户可以重构另一个租户的

作者:Tejasvi C. Addagada · 语言:en

简介