察元AI教程库 · 文章 · 大模型
在本研究中，我们介绍了Orion-14B，一个包含140亿参数的多语言大型语言模型集合。我们采用数据调度方法，在一个包含2.5万亿个标记的多样化语料库上训练基础模型，这些语料库来自英文、中文、日文、韩文和其他语言的文本
作者:Du Chen, Yi Huang, Xiaopu Li · 语言:en
在本研究中，我们介绍了Orion-14B，一个包含140亿参数的多语言大型语言模型集合。我们采用数据调度方法，在一个包含2.5万亿个标记的多样化语料库上训练基础模型，这些语料库来自英文、中文、日文、韩文和其他语言的文本