察元AI教程库 · 文章 · 大模型

HLAT：在AWS Trainium上预训练的高质量大语言模型

让大型语言模型（LLMs）在下游任务中表现良好需要在万亿级标记上进行预训练。这通常需要大量强大的计算设备，以及一个稳定的分布式训练框架来加速训练过程。随着数量的增长

作者:Haozheng Fan, Hao Zhou, Guangtai Huang · 语言:en

简介