察元AI教程库 · 文章 · 大模型

INT2.1：通过低秩适应实现可微调的量化大型语言模型，结合错误校正

我们提出了一种显著降低微调VRAM需求并纠正量化大型语言模型中量化误差的方法。首先，我们开发了一种极低内存消耗的微调（EMEF）方法，用于量化模型的低秩适应（LoRA），并在此基础上进一步优化。

作者:Yuji Chai, John Gkountouras, Glenn G. Ko · 语言:en

前往原址学习

简介

我们提出了一种显著降低微调VRAM需求并纠正量化大型语言模型中量化误差的方法。首先，我们开发了一种极低内存消耗的微调（EMEF）方法，用于量化模型的低秩适应（LoRA），并在此基础上进一步优化。

返回教程库 · 察元AI产品家族