察元AI教程库 · 文章 · 大模型
我们研究了多尺度Transformer语言模型，这些模型在多个尺度上学习文本表示，并提出了三种不同的架构，这些架构具有处理语言层次结构的归纳偏置。在大规模语言建模基准上的实验结果证实了这一点。
作者:Sandeep Subramanian, Ronan Collobert, Marc'Aurelio Ranzato · 语言:en
我们研究了多尺度Transformer语言模型，这些模型在多个尺度上学习文本表示，并提出了三种不同的架构，这些架构具有处理语言层次结构的归纳偏置。在大规模语言建模基准上的实验结果证实了这一点。