察元AI教程库 · 文章 · 部署

DualPath：打破代理大型语言模型推理中的存储带宽瓶颈

多轮、代理式LLM推理的性能越来越依赖于KV-Cache存储I/O，而非计算。在常见的解耦架构中，从外部存储加载大规模KV-Cache会形成根本性的不平衡：在预填充引擎中，存储NIC的带宽成为瓶颈

作者:Yongtong Wu, Shaoyuan Chen, Yinmin Zhong · 语言:en

简介