察元AI教程库 · 文章 · 微调

Light-PEFT：通过早期剪枝实现轻量级参数高效微调

参数高效的微调（PEFT）已成为大型语言模型微调的主流技术。然而，现有PEFT方法在训练效率方面仍存在不足。首先，在训练过程中对大规模基础模型的利用仍然不足。

作者:Naibin Gu, Peng Fu, Xiyu Liu · 语言:en

前往原址学习

简介

参数高效的微调（PEFT）已成为大型语言模型微调的主流技术。然而，现有PEFT方法在训练效率方面仍存在不足。首先，在训练过程中对大规模基础模型的利用仍然不足。

返回教程库 · 察元AI产品家族