察元AI教程库 · 文章 · 大模型

QDyLoRA：用于高效大型语言模型微调的量化动态低秩适应

微调大型语言模型需要大量GPU内存，限制了获取更大模型的选择。尽管低秩适应技术的量化版本QLoRA显著缓解了这一问题，但找到高效的LoRA秩仍然具有挑战性。此外，QLoRA的训练过程

作者:Hossein Rajabzadeh, Mojtaba Valipour, Tianshu Zhu · 语言:en

简介