察元AI教程库 · 仓库 · 部署
W8A8/W4A8推理 + 优化的SDPA在Apple Silicon上运行——解锁M5中未使用的INT8张量运算，实现1.2–1.9倍更快的LLM预填充，以及受FlashInfer启发的GQA解码注意力，实现最多1.6倍的SDPA加速，作为MLX自定义原语构建。
作者:Mininglamp-AI · 语言:en
W8A8/W4A8推理 + 优化的SDPA在Apple Silicon上运行——解锁M5中未使用的INT8张量运算，实现1.2–1.9倍更快的LLM预填充，以及受FlashInfer启发的GQA解码注意力，实现最多1.6倍的SDPA加速，作为MLX自定义原语构建。