察元AI教程库 · 文章 · 微调

改进基于显著性的稀疏微调策略用于语言模型

基于参数效率的微调（PEFT）通过低秩适应（LoRA）等方法日益流行。本文聚焦于基于稀疏性的PEFT（SPEFT），它在模型权重矩阵中引入可训练的稀疏适应，提供了在选择微调部分时更大的灵活性

作者:Xinxin Liu, Aaron Thomas, Cheng Zhang · 语言:en

前往原址学习

简介

基于参数效率的微调（PEFT）通过低秩适应（LoRA）等方法日益流行。本文聚焦于基于稀疏性的PEFT（SPEFT），它在模型权重矩阵中引入可训练的稀疏适应，提供了在选择微调部分时更大的灵活性

返回教程库 · 察元AI产品家族