察元AI教程库 · 文章 · 微调

在大型语言模型中“养孩子”：迈向有效且可泛化的微调

最近的预训练语言模型参数量从百万级扩展到数十亿级。因此，在各种下游任务中，需要使用有限训练语料库对一个极其庞大的预训练模型进行微调的需求日益增加。本文提出了一种简单而有效的微调技术，Child-T

作者:Runxin Xu, Fuli Luo, Zhiyuan Zhang · 语言:en

前往原址学习

简介

最近的预训练语言模型参数量从百万级扩展到数十亿级。因此，在各种下游任务中，需要使用有限训练语料库对一个极其庞大的预训练模型进行微调的需求日益增加。本文提出了一种简单而有效的微调技术，Child-T

返回教程库 · 察元AI产品家族