察元AI教程库 · 文章 · 部署

面向AMD Instinct GPU的大语言模型（LLM）推理优化：全面基准与部署研究

我们对AMD Instinct MI325X GPU上的生产级LLM推理进行了跨架构评估，使用vLLM v0.14.1在8个GPU集群（配备2TB HBM3e内存）上，对跨越235B到1万亿参数的四个模型（涵盖MoE+MLA、Dense+GQA、MoE+GQA三个架构家族）进行了基准测试。我们的

作者:Athos Georgiou · 语言:en

前往原址学习

简介

我们对AMD Instinct MI325X GPU上的生产级LLM推理进行了跨架构评估，使用vLLM v0.14.1在8个GPU集群（配备2TB HBM3e内存）上，对跨越235B到1万亿参数的四个模型（涵盖MoE+MLA、Dense+GQA、MoE+GQA三个架构家族）进行了基准测试。我们的

返回教程库 · 察元AI产品家族