察元AI教程库 · 文章 · 大模型

混合语言文档在多语言大型语言模型预训练中的作用

多语言大型语言模型在跨语言性能方面表现卓越，尽管其预训练过程主要是单语的。虽然普遍认为预训练语料库中的双语数据能够实现这些能力，但其具体贡献机制仍不清楚。我们通过预训练

作者:Jiandong Shao, Raphael Tang, Crystina Zhang · 语言:en

简介