察元AI教程库 · 文章 · 部署

ArcLight：面向多核CPU的轻量级LLM推理架构

尽管现有的CPU上大语言模型（LLM）推理框架已经成熟，但未能充分利用多核CPU平台的计算潜力。多核CPU广泛部署于Web服务器和高端网络设备中，通常被组织成多个NUMA节点。

作者:Yuzhuang Xu, Xu Han, Yuxuan Li · 语言:en

前往原址学习

简介

尽管现有的CPU上大语言模型（LLM）推理框架已经成熟，但未能充分利用多核CPU平台的计算潜力。多核CPU广泛部署于Web服务器和高端网络设备中，通常被组织成多个NUMA节点。

返回教程库 · 察元AI产品家族