察元AI教程库 · 仓库 · 部署

ddtree-mlx

Apple Silicon（MLX）上的基于树结构的推测解码。代码性能比DFlash快10-15%，自回归性能提升1.5倍。首个支持混合模型的MLX定制Metal内核版本。

作者:humanrouter · 语言:en

简介

Apple Silicon（MLX）上的基于树结构的推测解码。代码性能比DFlash快10-15%，自回归性能提升1.5倍。首个支持混合模型的MLX定制Metal内核版本。