察元AI教程库 · 文章 · 微调

DropLoRA：用于参数高效的微调的稀疏低秩适应

基于LoRA的大语言模型参数高效微调（PEFT）方法使用低秩分解来近似模型参数的更新。然而，与全参数微调相比，低秩更新在下游任务中通常会导致性能差距。为此，我们引入DropLoR

作者:Haojie Zhang · 语言:en

前往原址学习

简介

基于LoRA的大语言模型参数高效微调（PEFT）方法使用低秩分解来近似模型参数的更新。然而，与全参数微调相比，低秩更新在下游任务中通常会导致性能差距。为此，我们引入DropLoR

返回教程库 · 察元AI产品家族