察元AI教程库 · 文章 · 微调

使用小型语言模型作为模拟器进行大型语言模型微调

广泛使用的语言模型(LMs)通常通过扩展一个两阶段训练流程构建:一个预训练阶段,使用非常大且多样化的文本数据集,以及一个微调(有时称为“对齐”)阶段,使用特定示例或其他期望行为的规范。尽管如此,

作者:Eric Mitchell, Rafael Rafailov, Archit Sharma · 语言:en

前往原址学习

简介

广泛使用的语言模型(LMs)通常通过扩展一个两阶段训练流程构建:一个预训练阶段,使用非常大且多样化的文本数据集,以及一个微调(有时称为“对齐”)阶段,使用特定示例或其他期望行为的规范。尽管如此,

返回教程库 · 察元AI产品家族