察元AI教程库 · 文章 · 微调

Federated Sketching LoRA：一种灵活的、适用于异构协作的大型语言模型微调框架

在资源受限的客户端上微调大型语言模型（LLMs）仍然是一个具有挑战性的问题。近期的研究将低秩适应（LoRA）技术与联邦微调相结合，以缓解客户端模型规模和数据稀缺带来的挑战。然而，数据的异构性仍然

作者:Wenzhi Fang, Dong-Jun Han, Liangqi Yuan · 语言:en

前往原址学习

简介

在资源受限的客户端上微调大型语言模型（LLMs）仍然是一个具有挑战性的问题。近期的研究将低秩适应（LoRA）技术与联邦微调相结合，以缓解客户端模型规模和数据稀缺带来的挑战。然而，数据的异构性仍然

返回教程库 · 察元AI产品家族