察元AI教程库 · 文章 · 微调

使用学习者进行压缩语言模型的高效微调

基于BERT的模型微调在内存、计算和时间上都极为耗资源。尽管许多先前的工作旨在通过压缩技术（如剪枝）提升推理效率，但这些工作并未明确解决训练到下游任务时的计算挑战。我们引入

作者:Danilo Vucetic, Mohammadreza Tayaranian, Maryam Ziaeefard · 语言:en

简介