察元AI教程库 · 文章 · 微调

RoSA：通过鲁棒适应实现准确的参数高效微调

我们研究了在大型语言模型（LLMs）中能够在有限计算和内存预算下提供良好准确率的参数高效微调（PEFT）方法。我们提出了一种名为鲁棒适应（RoSA）的新PEFT方法，该方法受到鲁棒主成分分析的启发。

作者:Mahdi Nikdan, Soroush Tabesh, Elvir Crnčević · 语言:en

前往原址学习

简介

我们研究了在大型语言模型（LLMs）中能够在有限计算和内存预算下提供良好准确率的参数高效微调（PEFT）方法。我们提出了一种名为鲁棒适应（RoSA）的新PEFT方法，该方法受到鲁棒主成分分析的启发。

返回教程库 · 察元AI产品家族