察元AI教程库 · 文章 · 部署

在异构多核超级计算机上进行带宽感知的大语言模型（LLM）推理

大语言模型（LLMs）的推理受限于高昂的计算成本和内存带宽需求，使得在异构多核处理器上的部署变得困难。以天河超级计算机使用的MT-3000处理器为例，其主存带宽有限且分布

作者:Yao Lu, Zhongzhi Luan, Gen Li · 语言:en

前往原址学习

简介

大语言模型（LLMs）的推理受限于高昂的计算成本和内存带宽需求，使得在异构多核处理器上的部署变得困难。以天河超级计算机使用的MT-3000处理器为例，其主存带宽有限且分布

返回教程库 · 察元AI产品家族