察元AI教程库 · 文章 · 大模型
我们研究了在给定计算预算下训练Transformer语言模型的最佳模型大小和token数量。我们发现，当前的大型语言模型训练严重不足，这是近年来专注于模型规模扩展而保持训练量不变的结果
作者:Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch · 语言:en
我们研究了在给定计算预算下训练Transformer语言模型的最佳模型大小和token数量。我们发现，当前的大型语言模型训练严重不足，这是近年来专注于模型规模扩展而保持训练量不变的结果