察元AI教程库 · 文章 · 微调

面向多语言大型语言模型的治理感知混合微调

我们提出了一种治理感知的混合微调框架，用于多语言、低资源场景下的大型语言模型适应。核心算法结合了梯度对齐的低秩更新与结构正交变换，通过层间混合，并引入单位ary约束来

作者:Haomin Qi, Chengbo Huang, Zihan Dai · 语言:en

简介