察元AI教程库 · 文章 · 大模型

TierCheck：大型语言模型训练中的分层检查点机制，用于容错

大型语言模型（LLM）的训练经常因各种异构故障而中断，从常见的GPU崩溃到灾难性的集群级故障。现有的检查点系统依赖于单一层次的单体存储后端，迫使在状态保存开销和

作者:Shujie Han, Feng Jiang, Patrick P. C. Lee · 语言:en

前往原址学习

简介

大型语言模型（LLM）的训练经常因各种异构故障而中断，从常见的GPU崩溃到灾难性的集群级故障。现有的检查点系统依赖于单一层次的单体存储后端，迫使在状态保存开销和

返回教程库 · 察元AI产品家族