察元AI教程库 · 文章 · 微调

SPT：使用稀疏化技术高效地微调基于Transformer的语言模型

基于Transformer的大型语言模型（如BERT和GPT）取得了巨大成功，而微调——即在特定任务数据集上调整预训练模型——是利用这些模型进行下游任务的标准做法。然而，Transformer微调耗时长且内存需求高

作者:Yuntao Gui, Xiao Yan, Peiqi Yin · 语言:en

简介