察元AI教程库 · 文章 · 部署
LLM推理中的每个请求都经过两个阶段：计算密集的prefill阶段和内存带宽密集的decode阶段。为了提高GPU利用率，最近的系统采用混合批处理，将不同请求的prefill和decode阶段组合到同一个批次中。这种方法优化了线性操作。
作者:Aditya K Kamath, Ramya Prabhu, Jayashree Mohan · 语言:en
LLM推理中的每个请求都经过两个阶段：计算密集的prefill阶段和内存带宽密集的decode阶段。为了提高GPU利用率，最近的系统采用混合批处理，将不同请求的prefill和decode阶段组合到同一个批次中。这种方法优化了线性操作。