察元AI教程库 · 仓库 · 部署

vllm-mlx

适用于苹果硅芯片的高性能、兼容OpenAI和Anthropic的LLM推理服务器。原生支持MLX，支持连续批处理，多模态模型，MCP工具调用，以及Claude Code支持。

作者:waybarrios · 语言:en

简介

适用于苹果硅芯片的高性能、兼容OpenAI和Anthropic的LLM推理服务器。原生支持MLX，支持连续批处理，多模态模型，MCP工具调用，以及Claude Code支持。