察元AI教程库 · 文章 · 部署

SARATHI：通过将解码与分块预填充相结合，实现高效的LLM推理

大型语言（LLM）推理包含两个不同的阶段：prefill阶段处理输入提示，decode阶段自回归地生成输出token。尽管prefill阶段在小批量情况下能有效饱和GPU的计算能力，但decode阶段导致计算效率低下

作者:Amey Agrawal, Ashish Panwar, Jayashree Mohan · 语言:en

前往原址学习

简介

大型语言（LLM）推理包含两个不同的阶段：prefill阶段处理输入提示，decode阶段自回归地生成输出token。尽管prefill阶段在小批量情况下能有效饱和GPU的计算能力，但decode阶段导致计算效率低下

返回教程库 · 察元AI产品家族