察元AI教程库 · 仓库 · 部署
⚡原生MLX Swift LLM推理服务器,适用于苹果硅芯片。支持OpenAI兼容API,支持1000亿参数以上的Mixture-of-Experts(MoE)模型的SSD流式处理,TurboQuant KV缓存压缩,支持macOS和iOS手机应用
作者:SharpAI · 语言:en
⚡原生MLX Swift LLM推理服务器,适用于苹果硅芯片。支持OpenAI兼容API,支持1000亿参数以上的Mixture-of-Experts(MoE)模型的SSD流式处理,TurboQuant KV缓存压缩,支持macOS和iOS手机应用