察元AI教程库 · 文章 · 部署

HybridFlow：一种资源自适应的子任务路由方法，用于高效边缘-云LLM推理

边缘-云协同推理已成为LLM驱动的边缘设备的现实需求：设备上的模型通常无法承担所需的推理能力，而仅依赖云端的推理又可能因严格的延迟和令牌/API预算而变得成本高昂且缓慢。然而，现有的

作者:Jiangwen Dong, Jiayu Li, Tianhang Zheng · 语言:en

简介