察元AI教程库 · 文章 · 大模型

寻找魔卡（Magikarp）：在大型语言模型中自动检测训练不足的标记

语言模型中词元创建与模型训练之间的脱节，使得特定输入（如臭名昭著的SolidGoldMagikarp词元）可以引发不期望的模型行为。尽管这些“故障词元”（glitch tokens）存在于词元词汇表中，但几乎或完全缺失

作者:Sander Land, Max Bartolo · 语言:en

简介