察元AI教程库 · 文章 · 部署

跨四个GPU厂商、三个后端、三个浏览器的WebGPU调度开销特征分析

WebGPU的安全设计要求每个操作都进行验证，这在神经网络推理中的多个小分发中累积，但这种开销的真实成本尚未被充分认识。我们系统性地分析了LLM推理中批处理场景下的WebGPU分发开销

作者:Jędrzej Maczan · 语言:en

简介