察元AI教程库 · 文章 · 部署

FlexServe：面向移动设备的快速且安全的大型语言模型服务系统，具备灵活的资源隔离

本地大语言模型（LLMs）发展迅速，相比云端模型，提供了更强的隐私性和更高的可用性。在LLM推理过程中，模型权重和用户数据都具有价值，攻击者可能通过入侵操作系统内核来窃取这些数据。ARM TrustZone

作者:Yinpeng Wu, Yitong Chen, Lixiang Wang · 语言:en

前往原址学习

简介

本地大语言模型（LLMs）发展迅速，相比云端模型，提供了更强的隐私性和更高的可用性。在LLM推理过程中，模型权重和用户数据都具有价值，攻击者可能通过入侵操作系统内核来窃取这些数据。ARM TrustZone

返回教程库 · 察元AI产品家族