察元AI教程库 · 文章 · 大模型

基于Transformer的语言模型

Transformer架构在计算效率上优于基于RNN的模型。最近，GPT和BERT在各种NLP任务中展示了基于预训练语言模型的Transformer模型的有效性，这些模型在大规模语料库上训练。然而，这些Transformer架构在实际应用中表现不佳

作者:Chenguang Wang, Mu Li, Alexander J. Smola · 语言:en

简介