察元AI教程库 · 文章 · 大模型
深度剪枝旨在通过简单地移除一些不重要的Transformer块来降低大型语言模型的推理成本，而无需硬件特定的复杂性。然而，我们的实证发现表明，一个Transformer块的重要性可能是高度依赖任务的——一个块的“重要性”可能在不同任务中表现差异。
作者:Juyun Wee, Minjae Park, Jaeho Lee · 语言:en
深度剪枝旨在通过简单地移除一些不重要的Transformer块来降低大型语言模型的推理成本，而无需硬件特定的复杂性。然而，我们的实证发现表明，一个Transformer块的重要性可能是高度依赖任务的——一个块的“重要性”可能在不同任务中表现差异。