察元AI教程库 · 文章 · 部署
基于安全多方计算（MPC）的私有大型语言模型（LLM）推理实现了正式的数据隐私保护，但存在显著的延迟开销，尤其在长输入序列时更为明显。尽管已提出关键值（KV）缓存置换和稀疏注意力算法，但这些方法仍无法有效解决延迟问题。
作者:Wenxuan Zeng, Ye Dong, Jinjin Zhou · 语言:en
基于安全多方计算（MPC）的私有大型语言模型（LLM）推理实现了正式的数据隐私保护，但存在显著的延迟开销，尤其在长输入序列时更为明显。尽管已提出关键值（KV）缓存置换和稀疏注意力算法，但这些方法仍无法有效解决延迟问题。