察元AI教程库 · 文章 · 部署

面向代理AI服务的边缘LLM推理的端到端延迟最小化与负载均衡请求调度

大语言模型（LLM）驱动的代理式人工智能服务日益需要低延迟推理，推动了LLM在分布式边缘服务器上的部署。然而，异构的通信和计算能力，以及动态变化的推理状态，使得边缘服务器

作者:Zhen Li, Jun Cai, Haoran Gao · 语言:en

前往原址学习

简介

大语言模型（LLM）驱动的代理式人工智能服务日益需要低延迟推理，推动了LLM在分布式边缘服务器上的部署。然而，异构的通信和计算能力，以及动态变化的推理状态，使得边缘服务器

返回教程库 · 察元AI产品家族