察元AI教程库 · 文章 · 大模型

不再有尖峰：稳定大型语言模型的预训练

在大语言模型的预训练过程中，通常会出现损失峰值。这些峰值会降低大语言模型的性能，甚至可能破坏预训练过程。由于预训练需要巨大的计算预算，我们必须避免这些峰值。基于假设损失峰值是

作者:Sho Takase, Shun Kiyono, Sosuke Kobayashi · 语言:en

简介