察元AI教程库 · 文章 · 多模态

多模态大语言模型训练中的异构并行

基础模型训练正变得多模态，从后训练流程到大规模预训练。随着模态覆盖范围的扩大、上下文窗口的增加以及编码器LLM规模的差异，单一以LLM为中心的TP/CP/PP/DP/EP架构越来越限制了吞吐量。这种耦合迫使编码器

作者:Yashaswi Karnati, Kamran Jafari, Akash Mehra · 语言:en

简介