察元AI教程库 · 文章 · 大模型

DeepSpeed Ulysses：用于训练超长序列Transformer模型的系统优化

在典型的基于Transformer的大型语言模型（LLM）中，计算可以由批大小、隐藏维度、层数和序列长度来描述。迄今为止，加速LLM训练的系统工作主要集中在前三个维度：批并行用于批大小，张量

作者:Sam Ade Jacobs, Masahiro Tanaka, Chengming Zhang · 语言:en

前往原址学习

简介

在典型的基于Transformer的大型语言模型（LLM）中，计算可以由批大小、隐藏维度、层数和序列长度来描述。迄今为止，加速LLM训练的系统工作主要集中在前三个维度：批并行用于批大小，张量

返回教程库 · 察元AI产品家族