察元AI教程库 · 文章 · 大模型
我们提出了Llama-GENBA-10B，一个三语基础模型，旨在解决大型语言模型中的英语中心偏见。该模型基于Llama 3.1-8B，扩展至100亿参数，通过在1640亿tokens（820亿英语、820亿德语和8000万巴伐利亚语）上进行持续预训练，平衡了资源分配。
作者:Michael Hoffmann, Jophin John, Stefan Schweter · 语言:en
我们提出了Llama-GENBA-10B，一个三语基础模型，旨在解决大型语言模型中的英语中心偏见。该模型基于Llama 3.1-8B，扩展至100亿参数，通过在1640亿tokens（820亿英语、820亿德语和8000万巴伐利亚语）上进行持续预训练，平衡了资源分配。