察元AI教程库 · 文章 · 微调

Amuro和Char：分析大型语言模型预训练与微调之间的关系

大型语言模型的发展催生了“先预训练再对齐”的范式，即模型通常首先在大规模文本语料库上进行预训练，然后经过调优阶段，使其与人类偏好或下游任务对齐。在本研究中，我们探讨了这一范式中

作者:Kaiser Sun, Mark Dredze · 语言:en

简介