察元AI教程库 · 仓库 · 部署
一个开源的LLM/VLM负载均衡和托管平台，支持自托管LLM（和VLM）大规模部署 🏓🦙，作为llm-d、Docker Model Runner等项目的替代方案，但结构更简洁、部署更简单，基于ggml生态构建，支持CPU和GPU运行。
作者:intentee · 语言:en
一个开源的LLM/VLM负载均衡和托管平台，支持自托管LLM（和VLM）大规模部署 🏓🦙，作为llm-d、Docker Model Runner等项目的替代方案，但结构更简洁、部署更简单，基于ggml生态构建，支持CPU和GPU运行。