察元AI教程库 · 文章 · 微调

LoRA-SP：面向大型语言模型高效微调的简化部分参数适应

为应对大型语言模型（LLMs）微调过程中的计算和内存需求，我们提出了LoRA-SP（流式部分参数适应），这是一种基于随机半选择性参数冻结的新型方法，嵌入在低秩适应（LoRA）框架中。该方法高效

作者:Yichao Wu, Yafei Xiang, Shuning Huo · 语言:en

前往原址学习

简介

为应对大型语言模型（LLMs）微调过程中的计算和内存需求，我们提出了LoRA-SP（流式部分参数适应），这是一种基于随机半选择性参数冻结的新型方法，嵌入在低秩适应（LoRA）框架中。该方法高效

返回教程库 · 察元AI产品家族