察元AI教程库 · 文章 · 部署

TileFuse：一种用于AMD NPU上高效量化大语言模型推理的混合精度融合内核库

随着对设备端LLM推理需求的增长，边缘SoC越来越多地集成NPU以在严格的功耗和热预算下提升性能和能效。然而，当前客户端NPU上实际部署LLM仍面临困难：广泛使用的量化格式如AWQ并

作者:Wesley Pang, Gregory Hyegang Jun, Feiyang Liu · 语言:en

简介