察元AI教程库 · 文章 · 大模型
本研究提出了一种名为SPQ（SVD剪枝量化）的集成技术，用于大型语言模型（LLM）的压缩，该技术结合了保留方差的奇异值分解（SVD）、基于激活的剪枝以及训练后线性量化。每个组件针对不同的效率来源进行优化。
作者:Jiamin Yao, Eren Gultepe · 语言:en
本研究提出了一种名为SPQ（SVD剪枝量化）的集成技术，用于大型语言模型（LLM）的压缩，该技术结合了保留方差的奇异值分解（SVD）、基于激活的剪枝以及训练后线性量化。每个组件针对不同的效率来源进行优化。