察元AI教程库 · 仓库 · 部署

openmodelz

在Kubernetes(及其他平台)上自动扩展LLM(vLLM、SGLang、LMDeploy)的推理

作者:tensorchord · 语言:en

前往原址学习

简介

在Kubernetes(及其他平台)上自动扩展LLM(vLLM、SGLang、LMDeploy)的推理

返回教程库 · 察元AI产品家族