察元AI教程库 · 文章 · 大模型

LOLA --开源大型多语言大型语言模型

本文提出了LOLA，这是一个大规模多语言大型语言模型，使用超过160种语言进行训练，采用稀疏的专家混合Transformer架构。我们的架构和实现选择旨在解决如何在保持效率的同时利用语言多样性这一挑战

作者:Nikit Srivastava, Denis Kuchelev, Tatiana Moteu Ngoli · 语言:en

简介