察元AI教程库 · 文章 · 大模型

用于Transformer模型的可学习排列以实现结构稀疏性

结构稀疏性已成为一种流行的模型剪枝技术，广泛应用于各种架构中，包括卷积神经网络（CNNs）、Transformer模型，尤其是近年来的大型语言模型（LLMs）。一个有前景的方向是通过权重排列来进一步提升剪枝后的性能

作者:Zekai Li, Ji Liu, Guanchen Li · 语言:en

简介