察元AI教程库 · 文章 · 大模型
为填补现有大型语言模型从零开始预训练且具有马来西亚语境的空白，我们基于一个包含349GB数据集（相当于900亿tokens，基于我们使用的Byte Pair Encoding（BPE）分词器）训练了11亿、30亿和50亿参数的模型
作者:Husein Zolkepli, Aisyah Razak, Kamarul Adha · 语言:en
为填补现有大型语言模型从零开始预训练且具有马来西亚语境的空白，我们基于一个包含349GB数据集（相当于900亿tokens，基于我们使用的Byte Pair Encoding（BPE）分词器）训练了11亿、30亿和50亿参数的模型