察元AI教程库 · 文章 · 部署
我们系统性地研究了在为下一个标记预测（NTP）预训练的LLM中多标记预测（MTP）能力。我们首先表明，这些模型通过中间标记概率的数值边缘化，本质上具备MTP能力，但性能依赖于数据。
作者:Somesh Mehra, Javier Alonso Garcia, Lukas Mauch · 语言:en
我们系统性地研究了在为下一个标记预测（NTP）预训练的LLM中多标记预测（MTP）能力。我们首先表明，这些模型通过中间标记概率的数值边缘化，本质上具备MTP能力，但性能依赖于数据。