察元AI教程库 · 文章 · 部署

Nvidia Hopper上LLM推理的GPU利用率分析

单个SM利用率百分比可能导致LLM推理工作负载看起来计算饱和，却掩盖了实际完成的有用工作量。问题不在于计数器错误，而在于它将多个不同的机制压缩为一个数值。这在解码阶段尤为严重，因为每个

作者:Mohammad Siavashi, Gerald Q. Maguire, Dejan Kostic · 语言:en

简介