察元AI教程库 · 文章 · 部署

VPP：虚拟流水线并行，用于高效长上下文LLM推理中的分块预填充

分块预填充流水线并行（CPP）是LLM推理中的关键技术。然而，等大小分块会导致延迟失衡，因为后续分块需要处理更长的前缀KV缓存并产生更高的注意力成本，从而引发流水线空隙。现有方法通过动态调整来缓解这种不平衡

作者:Yan Shi, Xiaochao Wang, Jingchun Gao · 语言:en

简介