察元AI教程库 · 文章 · 大模型

通过逐层剪枝Transformer注意力头以实现高效的语言建模

尽管基于变换器的模型在语言建模方面表现优异，但其巨大的计算成本往往对实际应用来说是不可承受的。注意力头剪枝，即移除多头注意力中不必要的注意力头，是一种解决此问题的有前景的技术。然而

作者:Kyuhong Shim, Iksoo Choi, Wonyong Sung · 语言:en

简介