察元AI教程库 · 文章 · 微调

利用整数前向和反向传播进行预训练语言模型的微调

一些著名语言模型（如BERT）的大量参数使其在下游任务上的微调既计算密集又耗能。之前的研究者专注于使用较低位宽的整数数据类型来优化语言模型的前向传播，以节省

作者:Mohammadreza Tayaranian, Alireza Ghaffari, Marzieh S. Tahaei · 语言:en

前往原址学习

简介

一些著名语言模型（如BERT）的大量参数使其在下游任务上的微调既计算密集又耗能。之前的研究者专注于使用较低位宽的整数数据类型来优化语言模型的前向传播，以节省

返回教程库 · 察元AI产品家族