察元AI教程库 · 文章 · 大模型
在本文中，我们研究了在不同预训练目标下预训练Transformer编码器时，效率、成本和准确性之间的权衡。为此，我们分析了常见目标的特征，并结合这些特征，创建了新的有效的预训练方法。具体而言，我们设计了
作者:Luca Di Liello, Matteo Gabburo, Alessandro Moschitti · 语言:en
在本文中，我们研究了在不同预训练目标下预训练Transformer编码器时，效率、成本和准确性之间的权衡。为此，我们分析了常见目标的特征，并结合这些特征，创建了新的有效的预训练方法。具体而言，我们设计了