察元AI教程库 · 文章 · 部署

使用Sarathi-Serve缓解LLM推理中的吞吐量与延迟权衡问题

每个LLM服务请求都经过两个阶段。第一阶段是prefill，处理整个输入提示并生成第一个输出token；第二阶段是decode，逐个生成其余的输出token。prefill迭代具有高延迟，但由于处理了整个输入，会饱和GPU的计算资源

作者:Amey Agrawal, Nitin Kedia, Ashish Panwar · 语言:en

简介