察元AI教程库 · 文章 · 部署

Mustafar:促进无结构稀疏性,用于LLM推理中的KV缓存剪枝

我们证明,无结构稀疏性显著提升了LLM的KV缓存压缩率,实现了高达70%的稀疏度,且无需微调即可保持准确率。我们系统性地探索了剪枝策略,发现基于每个标记的幅度剪枝方法极为有效

作者:Donghyeon Joo, Helya Hosseini, Ramyad Hadidi · 语言:en

前往原址学习

简介

我们证明,无结构稀疏性显著提升了LLM的KV缓存压缩率,实现了高达70%的稀疏度,且无需微调即可保持准确率。我们系统性地探索了剪枝策略,发现基于每个标记的幅度剪枝方法极为有效

返回教程库 · 察元AI产品家族