察元AI教程库 · 文章 · 微调

LoftQ：用于大型语言模型的LoRA微调感知量化

量化是服务于大型语言模型（LLMs）的不可或缺技术，近年来也应用于LoRA微调。在本研究中，我们关注的是在预训练模型上同时应用量化和LoRA微调的场景。在这种情况下，通常会观察到

作者:Yixiao Li, Yifan Yu, Chen Liang · 语言:en

前往原址学习

简介

量化是服务于大型语言模型（LLMs）的不可或缺技术，近年来也应用于LoRA微调。在本研究中，我们关注的是在预训练模型上同时应用量化和LoRA微调的场景。在这种情况下，通常会观察到

返回教程库 · 察元AI产品家族