察元AI教程库 · 文章 · 微调

结构可学习的适配器微调用于参数高效的大型语言模型

本文解决了大语言模型微调中存在的参数冗余、结构僵化以及任务适应性有限的问题。我们提出了一种基于适配器的微调方法，采用结构可学习机制。通过引入可微分的门控函数和结构

作者:Ming Gong, Yingnan Deng, Nia Qi · 语言:en

简介