察元AI教程库 · 文章 · 部署

选择性KV缓存共享以缓解LLM推理中的时序侧信道

全局KV缓存共享是加速大型语言模型（LLM）推理的有效优化方法，但会引入一个API可见的时序侧信道，使攻击者能够从共享条目中推断出敏感的用户输入，从而引发跨租户的隐私风险。为解决此问题，我们提出

作者:Kexin Chu, Zecheng Lin, Dawei Xiang · 语言:en

前往原址学习

简介

全局KV缓存共享是加速大型语言模型（LLM）推理的有效优化方法，但会引入一个API可见的时序侧信道，使攻击者能够从共享条目中推断出敏感的用户输入，从而引发跨租户的隐私风险。为解决此问题，我们提出

返回教程库 · 察元AI产品家族