察元AI教程库 · 文章 · 微调

MoELoRA：基于对比学习的专家混合模型在参数高效微调中的应用，用于大型语言模型

微调通常必要，以增强大型语言模型（LLM）在下游任务中的适应性。然而，更新数十亿参数的过程需要大量的计算资源和训练时间，这成为其广泛应用的主要障碍

作者:Tongxu Luo, Jiahe Lei, Fangyu Lei · 语言:en

前往原址学习

简介

微调通常必要，以增强大型语言模型（LLM）在下游任务中的适应性。然而，更新数十亿参数的过程需要大量的计算资源和训练时间，这成为其广泛应用的主要障碍

返回教程库 · 察元AI产品家族