察元AI教程库 · 文章 · 部署

LMEdge：面向边缘集群的QoS感知大语言模型推理编排

大型语言模型（LLM）服务越来越多地运行在边缘基础设施上，从而实现了低延迟和隐私保护的AI服务。然而，如何在异构且资源受限的边缘设备上高效地服务LLM请求，需要联合决定模型

作者:Reza Farahani, Zoha Azimi, Mario Colosi · 语言:en

前往原址学习

简介

大型语言模型（LLM）服务越来越多地运行在边缘基础设施上，从而实现了低延迟和隐私保护的AI服务。然而，如何在异构且资源受限的边缘设备上高效地服务LLM请求，需要联合决定模型

返回教程库 · 察元AI产品家族