察元AI教程库 · 文章 · 部署

LatencyPrism：面向SLO保障的LLM推理的在线非侵入式延迟优化

LLM推理延迟直接决定了用户体验和运营成本，从而在SLO约束下影响吞吐量。即使短暂的延迟波动也会损害服务质量，即使平均性能可接受。然而，在具有多样化软件架构的分布式推理环境中，延迟问题尤为突出

作者:Yin Du, Jiayi Ren, Xiayu Sun · 语言:en

简介