察元AI教程库 · 文章 · 微调

多个篮子中的合成鸡蛋：合成数据多样性对LLM微调的影响

随着合成数据在语言模型开发中的广泛应用，理解其对模型行为的影响至关重要。本文研究了合成数据来源多样性对微调后的大型语言模型的影响。我们重点关注三个维度：分布坍塌、信息偏差和模型行为变化。

作者:Max Schaffelder, Albert Gatt · 语言:en

简介