察元AI教程库 · 文章 · 部署

分解预测性Kubernetes自动扩展：针对长启动延迟的LLM服务

在Kubernetes上部署的大型语言模型（LLM）服务面临一个传统Web服务不会遇到的自动扩展挑战：新实例启动需要两到十分钟，因为需要加载多吉字节的模型权重，这使得纯粹的反应式扩展在结构上存在延迟。我们提出

作者:Tianrui Liu, Xiaohai Hu · 语言:en

简介