察元AI教程库 · 仓库 · 部署
适用于巨型Mixture-of-Experts（MoE）模型的SSD流式推理引擎（Rust + CUDA）。在两个消费级16GB显存的GPU上，GLM 5.2 743B模型达到每秒2个token，Hy3 295B模型达到每秒7个token。零配置多GPU支持：自动测量PCIe带宽，并将注意力和热点专家放置在合适位置。
作者:giannisanni · 语言:en
适用于巨型Mixture-of-Experts（MoE）模型的SSD流式推理引擎（Rust + CUDA）。在两个消费级16GB显存的GPU上，GLM 5.2 743B模型达到每秒2个token，Hy3 295B模型达到每秒7个token。零配置多GPU支持：自动测量PCIe带宽，并将注意力和热点专家放置在合适位置。