察元AI教程库 · 文章 · 微调

FeDeRA:利用权重分解实现联邦学习中语言模型的高效微调

尽管经过微调后在各种任务上表现优异,预训练语言模型(PLMs)仍面临因集中式训练方法导致的隐私问题。本文考虑采用联邦学习(FL)来微调PLMs。然而,该方法的可行性仍需进一步探讨。

作者:Yuxuan Yan, Qianqian Yang, Shunpu Tang · 语言:en

前往原址学习

简介

尽管经过微调后在各种任务上表现优异,预训练语言模型(PLMs)仍面临因集中式训练方法导致的隐私问题。本文考虑采用联邦学习(FL)来微调PLMs。然而,该方法的可行性仍需进一步探讨。

返回教程库 · 察元AI产品家族