察元AI教程库 · 文章 · 部署

FlexServe：一种适用于移动设备的高效且安全的LLM服务系统，具备灵活的资源隔离

设备端大语言模型（LLMs）经历了爆炸式增长，相比云端LLMs，提供了更高的隐私性和可用性。在LLM推理过程中，模型权重和用户数据都具有价值，攻击者甚至可能通过入侵操作系统内核来窃取这些数据。ARM TrustZone是

作者:Yinpeng Wu, Yitong Chen, Lixiang Wang · 语言:en

前往原址学习

简介

设备端大语言模型（LLMs）经历了爆炸式增长，相比云端LLMs，提供了更高的隐私性和可用性。在LLM推理过程中，模型权重和用户数据都具有价值，攻击者甚至可能通过入侵操作系统内核来窃取这些数据。ARM TrustZone是

返回教程库 · 察元AI产品家族