察元AI教程库 · 文章 · 大模型
近年来,Transformer在语言建模中占据了主导地位,取代了曾经被视为主流的LSTM架构。在本项目中,我们研究了Transformer架构(BERT和Transformer-XL)在语言建模任务中的表现。我们使用子词
作者:Abhilash Jain, Aku Ruohe, Stig-Arne Grönroos · 语言:en
近年来,Transformer在语言建模中占据了主导地位,取代了曾经被视为主流的LSTM架构。在本项目中,我们研究了Transformer架构(BERT和Transformer-XL)在语言建模任务中的表现。我们使用子词