察元AI教程库 · 文章 · 大模型
基于语言模型的预训练模型(如BERT)在不同NLP任务中提供了显著提升。本文研究了不同类型的基于Transformer的预训练模型,如自回归模型(GPT-2)、自编码模型(BERT)和序列到序列模型(BART)的条件
作者:Varun Kumar, Ashutosh Choudhary, Eunah Cho · 语言:en
基于语言模型的预训练模型(如BERT)在不同NLP任务中提供了显著提升。本文研究了不同类型的基于Transformer的预训练模型,如自回归模型(GPT-2)、自编码模型(BERT)和序列到序列模型(BART)的条件