察元AI教程库 · 视频 · 部署

比 llama.cpp 快近两倍？FreeToken 本地大模型推理实测

这期视频介绍开源大模型推理引擎 FreeToken。 它通过动态调度 CPU、系统内存、PCIe 和 GPU，让不同专家层选择更合适的计算位置，从而减少权重搬运带来的等待，并充分利用 GPU 中已经缓存的专家。…

作者:AI_打工人 · 语言:zh

前往原址学习

简介

这期视频介绍开源大模型推理引擎 FreeToken。 它通过动态调度 CPU、系统内存、PCIe 和 GPU，让不同专家层选择更合适的计算位置，从而减少权重搬运带来的等待，并充分利用 GPU 中已经缓存的专家。 视频将带你了解： - FreeToken 的 CPU/GPU 混合推理原理 - Prefill 阶段的权重预取与 Checkpoint 复用 - Decoder 阶段的专家缓存和动态调度 - FreeToken 与 llama.cpp 的实际性能对比

返回教程库 · 察元AI产品家族