察元AI教程库 · 文章 · 微调

适应性大型语言模型的组合子空间表示微调

将大型语言模型适应多种任务可能导致技能交叉干扰，即一个技能的改进会损害另一个技能。虽然LoRA等方法在权重层面施加正交约束，但并未完全解决隐藏状态表示中的干扰问题。我们提出C

作者:Andy Zhou · 语言:en

前往原址学习

简介

将大型语言模型适应多种任务可能导致技能交叉干扰，即一个技能的改进会损害另一个技能。虽然LoRA等方法在权重层面施加正交约束，但并未完全解决隐藏状态表示中的干扰问题。我们提出C

返回教程库 · 察元AI产品家族