察元AI教程库 · 文章 · 部署

实现保密且高效的LLM推理，采用双重隐私保护

基于CPU的可信执行环境（TEEs）和差分隐私（DP）已广泛应用于私有推理。由于TEEs的推理延迟较高，研究人员采用基于分区的方法，将线性模型组件卸载到GPU上。然而，大型模型的密集非线性层

作者:Honglan Yu, Yibin Wang, Feifei Dai · 语言:en

简介