察元AI教程库 · 文章 · 微调

LowRA：一种准确且高效的2位LoRA微调方法

随着模型规模扩大到数百亿参数，微调大型语言模型（LLMs）的成本越来越高，即使是参数高效的微调（PEFT）方法如LoRA也依然资源密集。我们引入了LowRA，首个支持每参数低于2位的LoRA微调框架

作者:Zikai Zhou, Qizheng Zhang, Hermann Kumbong · 语言:en

前往原址学习

简介

随着模型规模扩大到数百亿参数，微调大型语言模型（LLMs）的成本越来越高，即使是参数高效的微调（PEFT）方法如LoRA也依然资源密集。我们引入了LowRA，首个支持每参数低于2位的LoRA微调框架

返回教程库 · 察元AI产品家族