察元AI教程库 · 文章 · 大模型

通过深度剪枝和Transformer块线性化实现网络简化

我们引入了ReplaceMe，一种通用的、无需训练的深度剪枝方法，能够有效地将Transformer块替换为线性操作，同时在低压缩比下保持高性能。与传统剪枝方法需要额外训练或微调不同

作者:Dmitriy Shopkhoev, Ammar Ali, Magauiya Zhussip · 语言:en

简介