察元AI教程库 · 文章 · 微调

基于Transformer的语言模型微调数据集的自动剪枝

基于Transformer的语言模型在多种自然语言理解任务中表现出最先进的性能。为了实现这一性能，这些模型首先在通用语料上进行预训练，然后在下游任务上进行微调。先前的研究探讨了剪枝对

作者:Mohammadreza Tayaranian, Seyyed Hasan Mozafari, Brett H. Meyer · 语言:en

简介