察元AI教程库 · 文章 · 部署
解耦的大语言模型（LLM）推理因其将计算密集的prefill阶段与内存密集的decode阶段分离，避免了prefill和decode之间的干扰，从而提高了资源利用率而受到欢迎。然而，由于在不同阶段之间传输Key-Value（KV）数据，导致了性能瓶颈。
作者:Zeyu Zhang, Haiying Shen, Shay Vargaftik · 语言:en
解耦的大语言模型（LLM）推理因其将计算密集的prefill阶段与内存密集的decode阶段分离，避免了prefill和decode之间的干扰，从而提高了资源利用率而受到欢迎。然而，由于在不同阶段之间传输Key-Value（KV）数据，导致了性能瓶颈。