察元AI教程库 · 文章 · 部署

基于空中计算的分布式设备端LLM推理

大型语言模型（LLMs）在各种人工智能任务中取得了显著成功。然而，其巨大的规模和计算需求给边缘设备部署带来了重大挑战。为解决此问题，我们提出了一种分布式本地LLM推理

作者:Kai Zhang, Hengtao He, Shenghui Song · 语言:en

前往原址学习

简介

大型语言模型（LLMs）在各种人工智能任务中取得了显著成功。然而，其巨大的规模和计算需求给边缘设备部署带来了重大挑战。为解决此问题，我们提出了一种分布式本地LLM推理

返回教程库 · 察元AI产品家族