察元AI教程库 · 文章 · 部署

HiFA4：在Ascend HIF4 NPU上实现训练免费的4位FlashAttention用于LLM推理

我们提出了HiFA4，一种训练后操作级设计，将FlashAttention中的QK^T和PV操作以4位HIF4 Cube GEMM的形式执行，用于Ascend NPU上的LLM推理，同时保持在线softmax状态为FP16。据我们所知，HiFA4是首个针对Ascend-HIF4设计的此类评估方案

作者:Hui Dong, Yanzhao Li, Jie Gao · 语言:en

简介