察元AI教程库 · 文章 · 部署

针对分布式大语言模型推理框架的提示推理攻击

现代大型语言模型（LLMs）的推理过程需要巨大的计算资源，使其难以在消费级设备上部署。为解决这一限制，最近的研究提出了分布式LLM推理框架，采用分拆学习原则

作者:Xinjian Luo, Ting Yu, Xiaokui Xiao · 语言:en

前往原址学习

简介

现代大型语言模型（LLMs）的推理过程需要巨大的计算资源，使其难以在消费级设备上部署。为解决这一限制，最近的研究提出了分布式LLM推理框架，采用分拆学习原则

返回教程库 · 察元AI产品家族