察元AI教程库 · 仓库 · 部署
用于在异构 GPU 集群上自托管大语言模型推理的 Kubernetes 操作器：支持 NVIDIA CUDA、AMD Vulkan 和 Apple Silicon Metal。运行时包括 llama.cpp、vLLM、TGI、mlx-server。支持多 GPU 分片、模型缓存、OpenAI 兼容端点。采用 Apache-2.0 许可，可在家庭实验室和本地部署环境中运行。
作者:defilantech · 语言:en
用于在异构 GPU 集群上自托管大语言模型推理的 Kubernetes 操作器：支持 NVIDIA CUDA、AMD Vulkan 和 Apple Silicon Metal。运行时包括 llama.cpp、vLLM、TGI、mlx-server。支持多 GPU 分片、模型缓存、OpenAI 兼容端点。采用 Apache-2.0 许可，可在家庭实验室和本地部署环境中运行。