察元AI教程库 · 仓库 · 部署

intel-arc-pro-b70-inference-cookbook

Intel Arc Pro B60/B70（Battlemage、Xe2）上LLM推理的开源配方、引擎补丁和基准工具。MoE 35B在160 t/s解码 / 7.5K t/s预填充（单流），27B在50~ t/s解码 / 1.7K t/s预填充（单流）。vLLM XPU MTP已解锁。Muse Glimmer配方已添加！

作者:SergiioB · 语言:en

前往原址学习

简介

Intel Arc Pro B60/B70（Battlemage、Xe2）上LLM推理的开源配方、引擎补丁和基准工具。MoE 35B在160 t/s解码 / 7.5K t/s预填充（单流），27B在50~ t/s解码 / 1.7K t/s预填充（单流）。vLLM XPU MTP已解锁。Muse Glimmer配方已添加！

返回教程库 · 察元AI产品家族