察元AI教程库 · 文章 · 部署

私有LLM推理：在CPU和GPU TEEs上的性能与成本分析

大语言模型（LLMs）正越来越多地部署在融合的云和高性能计算（HPC）基础设施上。然而，由于LLMs处理敏感输入并基于昂贵的专有数据集进行微调，其更高的安全需求限制了在隐私敏感场景中的采用。

作者:Marcin Chrapek, Marcin Copik, Etienne Mettaz · 语言:en

前往原址学习

简介

大语言模型（LLMs）正越来越多地部署在融合的云和高性能计算（HPC）基础设施上。然而，由于LLMs处理敏感输入并基于昂贵的专有数据集进行微调，其更高的安全需求限制了在隐私敏感场景中的采用。

返回教程库 · 察元AI产品家族