察元AI教程库 · 文章 · 部署

缓存中的阴影：揭示并缓解LLM推理中KV缓存的隐私风险

键值（KV）缓存通过存储中间注意力计算（键值对）来避免重复计算，是加速大语言模型（LLM）推理的基本机制。然而，这种效率优化引入了重大且尚未被充分研究的隐私风险。

作者:Zhifan Luo, Shuo Shao, Su Zhang · 语言:en

前往原址学习

简介

键值（KV）缓存通过存储中间注意力计算（键值对）来避免重复计算，是加速大语言模型（LLM）推理的基本机制。然而，这种效率优化引入了重大且尚未被充分研究的隐私风险。

返回教程库 · 察元AI产品家族