察元AI教程库 · 文章 · 大模型

Pier：一种基于放松全局通信的高效大型语言模型预训练方法

全局通信，如all-reduce和allgather，是大语言模型（LLM）预训练中的主要性能瓶颈。为解决此问题，我们提出了Pier，一种高效且可扩展的优化器，具有放松的全局通信机制。Pier基于DiLoCo构建，利用了内部

作者:Shuyuan Fan, Zhao Zhang · 语言:en

简介