察元AI教程库 · 仓库 · 部署

SwiftLM

⚡原生MLX Swift LLM推理服务器,适用于苹果硅芯片。支持OpenAI兼容API,支持1000亿参数以上的Mixture-of-Experts(MoE)模型的SSD流式处理,TurboQuant KV缓存压缩,支持macOS和iOS手机应用

作者:SharpAI · 语言:en

前往原址学习

简介

⚡原生MLX Swift LLM推理服务器,适用于苹果硅芯片。支持OpenAI兼容API,支持1000亿参数以上的Mixture-of-Experts(MoE)模型的SSD流式处理,TurboQuant KV缓存压缩,支持macOS和iOS手机应用

返回教程库 · 察元AI产品家族