察元AI教程库 · 文章 · 大模型
像僧伽罗语这样的低资源语言常常被开源大型语言模型（LLMs）忽视。在本研究中，我们扩展了现有的多语言LLM（Llama-3-8B），以更好地服务于僧伽罗语。我们通过为僧伽罗语添加特定词汇来增强LLM的分词器，并在持续预训练中进行优化。
作者:H. W. K. Aravinda, Rashad Sirajudeen, Samith Karunathilake · 语言:en
像僧伽罗语这样的低资源语言常常被开源大型语言模型（LLMs）忽视。在本研究中，我们扩展了现有的多语言LLM（Llama-3-8B），以更好地服务于僧伽罗语。我们通过为僧伽罗语添加特定词汇来增强LLM的分词器，并在持续预训练中进行优化。