察元AI教程库 · 文章 · 微调

基于熵-KL散度的标记掩码：一种用于大型语言模型选择性微调的新方法

监督微调（SFT）后接强化学习（RL）已成为大型语言模型的标准化训练范式。该范式为RL探索提供了冷启动，避免了纯RL中因策略采样导致的正样本不足问题。

作者:Qi Liu, Mingdi Sun, Yongyi He · 语言:en

前往原址学习

简介

监督微调（SFT）后接强化学习（RL）已成为大型语言模型的标准化训练范式。该范式为RL探索提供了冷启动，避免了纯RL中因策略采样导致的正样本不足问题。

返回教程库 · 察元AI产品家族