察元AI教程库 · 文章 · 部署

基于阈值的独占批处理用于LLM推理

混合批处理（MB）——即在单个批次中交错进行预填充和解码——已成为大型语言模型（LLM）推理的标准调度策略，因其能有效提升计算和内存利用率。然而，通过受控实验我们发现，预填充-解码接口

作者:Weifang Zhang, Yuzhou Nie, Bowen Pang · 语言:en

前往原址学习

简介

混合批处理（MB）——即在单个批次中交错进行预填充和解码——已成为大型语言模型（LLM）推理的标准调度策略，因其能有效提升计算和内存利用率。然而，通过受控实验我们发现，预填充-解码接口

返回教程库 · 察元AI产品家族