察元AI教程库 · 文章 · 微调
监督微调(SFT)对于将大型语言模型(LLMs)与用户意图对齐至关重要,但人们普遍认为它会抑制生成多样性。尽管这一现象被广泛提及,但正式的实证研究仍十分有限。LLMs的表达能力本身决定了其生成多样性
作者:Roman Klypa, Oleksandr Cherednichenko · 语言:en
监督微调(SFT)对于将大型语言模型(LLMs)与用户意图对齐至关重要,但人们普遍认为它会抑制生成多样性。尽管这一现象被广泛提及,但正式的实证研究仍十分有限。LLMs的表达能力本身决定了其生成多样性