察元AI教程库 · 文章 · 微调

大型语言模型的联邦微调：卡尼曼-特沃斯基模型 vs. 直接偏好优化

我们评估了Kahneman-Tversky优化（KTO）作为一种联邦学习（FL）环境中大型语言模型（LLMs）微调方法，并将其与直接偏好优化（DPO）进行比较。使用Alpaca-7B作为基础模型，在两种方法下对现实数据集进行微调并评估

作者:Fernando Spadea, Oshani Seneviratne · 语言:en

前往原址学习

简介

我们评估了Kahneman-Tversky优化（KTO）作为一种联邦学习（FL）环境中大型语言模型（LLMs）微调方法，并将其与直接偏好优化（DPO）进行比较。使用Alpaca-7B作为基础模型，在两种方法下对现实数据集进行微调并评估

返回教程库 · 察元AI产品家族