察元AI教程库 · 文章 · 部署

BaseRT：利用苹果M5神经加速器推动顶级LLM推理性能

苹果M5代引入了一种重新设计的GPU架构，每个核心都配备专用的神经加速器：通过Metal~4张量API暴露的芯片内矩阵单元。我们展示了BaseRT，即我们为苹果硅芯片上的大语言模型设计的原生Metal推理运行时，能够充分利用这些未被充分利用的

作者:Fabian Waschkowski, Prabod Rathnayaka, Lukas Wesemann · 语言:en

简介