察元AI教程库 · 文章 · 大模型

关于Transformer增长在渐进式BERT训练中的研究

由于大规模语言模型预训练的高昂成本，人们已经做了大量工作来逐步训练BERT——从一个性能较差但成本较低的模型开始，逐步提升模型规模以增加计算复杂度。我们的目标是深入理解T

作者:Xiaotao Gu, Liyuan Liu, Hongkun Yu · 语言:en

简介