察元AI教程库 · 文章 · 部署

FireQ：一种用于LLM推理加速的快速INT4-FP8内核和RoPE感知量化

随着大语言模型的普及程度不断提高，内存带宽限制显著制约了推理吞吐量，这推动了训练后量化（PTQ）的发展。本文我们提出FireQ，一种协同设计的PTQ框架以及一个INT4-FP8矩阵乘法内核，用于加速LLM推理

作者:Daehyeon Baek, Jieun Choi, Jimyoung Son · 语言:en

简介