察元AI教程库 · 文章 · 部署

协同无损大语言模型推理服务：基于卸载的边缘设备流水线并行

在边缘设备上提供无损的LLM推理服务仍然具有挑战性，尤其是在内存预算极为紧张的情况下。现有的卸载技术不可避免地引入大量加载气泡，进一步增加了整个推理流水线的端到端延迟。Mea

作者:Mingyu Sun, Xiao Zhang, Shen Qu · 语言:en

简介