察元AI教程库 · 文章 · 微调

高效寻找平坦极小值以提升大型语言模型细调的泛化能力

很少有研究探讨低秩适应（LoRA）的表达能力与泛化能力之间的关系。通过锐度感知最小化（SAM），可以提升卷积神经网络（CNNs）和Transformer的泛化能力，通过鼓励收敛到局部

作者:Jiaxin Deng, Qingcheng Zhu, Junbiao Pang · 语言:en

前往原址学习

简介

很少有研究探讨低秩适应（LoRA）的表达能力与泛化能力之间的关系。通过锐度感知最小化（SAM），可以提升卷积神经网络（CNNs）和Transformer的泛化能力，通过鼓励收敛到局部

返回教程库 · 察元AI产品家族