察元AI教程库 · 文章 · 微调

LoRA微调中的秩稳定缩放因子

大型语言模型（LLMs）变得越来越依赖计算和内存，因此参数高效的微调（PEFT）方法已成为微调LLMs的常用策略。一种流行的PEFT方法是低秩适配器（LoRA），它在选定的层中添加可训练的低秩“适配器”。每个适配

作者:Damjan Kalajdzievski · 语言:en

前往原址学习

简介

大型语言模型（LLMs）变得越来越依赖计算和内存，因此参数高效的微调（PEFT）方法已成为微调LLMs的常用策略。一种流行的PEFT方法是低秩适配器（LoRA），它在选定的层中添加可训练的低秩“适配器”。每个适配

返回教程库 · 察元AI产品家族