察元AI教程库 · 文章 · 部署
我们提出了QUICK，一组用于高效推理量化大语言模型（LLMs）的新型优化CUDA内核。QUICK解决了当前最先进的混合精度矩阵乘法内核中共享内存银行冲突问题。我们的方法通过交错处理量化权重矩阵，显著提升了性能。
作者:Taesu Kim, Jongho Lee, Daehyun Ahn · 语言:en
我们提出了QUICK，一组用于高效推理量化大语言模型（LLMs）的新型优化CUDA内核。QUICK解决了当前最先进的混合精度矩阵乘法内核中共享内存银行冲突问题。我们的方法通过交错处理量化权重矩阵，显著提升了性能。