察元AI教程库 · 文章 · 微调

LoRA$^2$：用于大型语言模型微调的多尺度低秩近似

以高参数效率对大型语言模型（LLMs）进行下游任务的微调已成为一种新范式。低秩适应（LoRA）显著减少了微调时的可训练参数数量。尽管其表现优异，但参数更新过程

作者:Jia-Chen Zhang, Yu-Jie Xiong, He-Xi Qiu · 语言:en

前往原址学习

简介

以高参数效率对大型语言模型（LLMs）进行下游任务的微调已成为一种新范式。低秩适应（LoRA）显著减少了微调时的可训练参数数量。尽管其表现优异，但参数更新过程

返回教程库 · 察元AI产品家族