察元AI教程库 · 仓库 · 部署

ram-coffers

通过NUMA感知的权重银行化降低LLM基础设施成本：在翻新后的企业POWER8上实现147 t/s（比原生llama.cpp快8.8倍）。支持自托管推理，无需使用云API。属于物理AI堆栈的证明项目。

作者:Scottcjn · 语言:en

前往原址学习

简介

通过NUMA感知的权重银行化降低LLM基础设施成本：在翻新后的企业POWER8上实现147 t/s（比原生llama.cpp快8.8倍）。支持自托管推理，无需使用云API。属于物理AI堆栈的证明项目。

返回教程库 · 察元AI产品家族