察元AI教程库 · 文章 · 部署

在CPU-GPU混合架构上对大语言模型（LLM）推理工作负载进行表征与优化

基于大型语言模型（LLM）的推理工作负载日益主导数据中心的成本和资源利用率。因此，深入理解在演进的CPU-GPU耦合架构上LLM推理工作负载的特性对优化至关重要。本文对LLM推理工作负载进行了深入分析。

作者:Prabhu Vellaisamy, Thomas Labonte, Sourav Chakraborty · 语言:en

前往原址学习

简介

基于大型语言模型（LLM）的推理工作负载日益主导数据中心的成本和资源利用率。因此，深入理解在演进的CPU-GPU耦合架构上LLM推理工作负载的特性对优化至关重要。本文对LLM推理工作负载进行了深入分析。

返回教程库 · 察元AI产品家族