察元AI教程库 · 文章 · 微调

LoRA适配器的特征几何：对微调语言模型表示分歧的稀疏自编码器分析

低秩适应（LoRA）已成为调整大型语言模型的一种广泛采用的方法，但LoRA微调引起的内部表示变化仍缺乏充分理解。本文研究了LoRA诱导表示的几何特性，使用稀疏自编码

作者:Prasanth K K · 语言:en

前往原址学习

简介

低秩适应（LoRA）已成为调整大型语言模型的一种广泛采用的方法，但LoRA微调引起的内部表示变化仍缺乏充分理解。本文研究了LoRA诱导表示的几何特性，使用稀疏自编码

返回教程库 · 察元AI产品家族