察元AI教程库 · 文章 · 大模型

用于社会科学的Transformer编码器

高质量的文本数据已成为社会科学家的重要数据来源。我们见证了预训练深度神经网络模型（如BERT和RoBERTa）在近年来社会科学研究中的成功。本文提出了一种紧凑的预训练深度神经网络，即Transformer Encod

作者:Haosen Ge, In Young Park, Xuancheng Qian · 语言:en

简介