察元AI教程库 · 文章 · 部署

SpliTEE:通过差分隐私GPU外包提升可信硬件上LLM推理

用户提供的提示信息可能包含敏感或私密信息,这些信息可能被远程部署的模型误用,例如在再训练过程中无意中被记忆。一种保护用户提示的方法是在可信执行环境中运行LLM。

作者:Shashie Dilhara Batan Arachchige, Robin Carpentier, Hassan Jameel Asghar · 语言:en

前往原址学习

简介

用户提供的提示信息可能包含敏感或私密信息,这些信息可能被远程部署的模型误用,例如在再训练过程中无意中被记忆。一种保护用户提示的方法是在可信执行环境中运行LLM。

返回教程库 · 察元AI产品家族