察元AI教程库 · 文章 · 大模型

大型语言模型的块循环适配器

微调大型语言模型（LLM）由于其巨大的模型规模而变得困难。最近基于傅里叶域的方法显示出降低微调成本的潜力。我们提出了一种基于块循环矩阵的微调方法，并结合稳定的训练启发式方法，利用循环矩阵的特性

作者:Xinyu Ding, Meiqi Wang, Siyu Liao · 语言:en

简介