察元AI教程库 · 文章 · 部署

通过Tarragon使基于MoE的LLM推理更具韧性

混合专家（MoE）模型越来越多地被用于大规模服务大语言模型（LLMs），但随着部署规模的扩大，故障也变得普遍。现有系统表现出较差的故障韧性：单个工作节点的故障就会触发粗粒度的、服务范围的重启，导致累积进度丢失并中断运行

作者:Songyu Zhang, Aaron Tam, Myungjin Lee · 语言:en

前往原址学习

简介

混合专家（MoE）模型越来越多地被用于大规模服务大语言模型（LLMs），但随着部署规模的扩大，故障也变得普遍。现有系统表现出较差的故障韧性：单个工作节点的故障就会触发粗粒度的、服务范围的重启，导致累积进度丢失并中断运行

返回教程库 · 察元AI产品家族