察元AI教程库 · 文章 · 大模型

通过谱归一化身份先验剪枝Transformer模型中的冗余映射

传统的（无结构）Transformer模型剪枝方法专注于通过将权重推向零来正则化单个权重。在本研究中，我们探索了谱归一化恒等先验（SNIP），一种结构化剪枝方法，通过惩罚Transformer中整个残差模块

作者:Zi Lin, Jeremiah Zhe Liu, Zi Yang · 语言:en

简介