察元AI教程库 · 文章 · 部署

在无线网络上实现高效的分布式设备端大语言模型（LLM）推理

大型语言模型（LLMs）在多个应用领域中表现出卓越的性能，但其巨大的规模和计算需求给资源受限的边缘设备部署带来了重大挑战。为解决此问题，我们提出了一种新颖的分布式本地LLM

作者:Kai Zhang, Hengtao He, Shenghui Song · 语言:en

前往原址学习

简介

大型语言模型（LLMs）在多个应用领域中表现出卓越的性能，但其巨大的规模和计算需求给资源受限的边缘设备部署带来了重大挑战。为解决此问题，我们提出了一种新颖的分布式本地LLM

返回教程库 · 察元AI产品家族