察元AI教程库 · 文章 · 微调

为预训练语言模型进行跨度微调

预训练语言模型（PrLM）在训练大规模文本时，必须仔细管理输入单元，因为其词汇表包含数百万个单词。先前的研究表明，在预训练中引入连续词的跨度级信息可以进一步提升性能

作者:Rongzhou Bao, Zhuosheng Zhang, Hai Zhao · 语言:en

前往原址学习

简介

预训练语言模型（PrLM）在训练大规模文本时，必须仔细管理输入单元，因为其词汇表包含数百万个单词。先前的研究表明，在预训练中引入连续词的跨度级信息可以进一步提升性能

返回教程库 · 察元AI产品家族