察元AI教程库 · 文章 · 部署

AnchorTP: 基于状态保持弹性张量并行的鲁棒LLM推理

大语言模型（LLM）推理服务要求极高的可用性和低延迟，但多GPU张量并行（TP）使其容易受到单个GPU故障的影响。我们提出了AnchorTP，一种具有状态保持的弹性TP框架，用于快速恢复。它（i）实现了弹性张量并行，能够

作者:Wendong Xu, Chujie Chen, He Xiao · 语言:en

前往原址学习

简介

大语言模型（LLM）推理服务要求极高的可用性和低延迟，但多GPU张量并行（TP）使其容易受到单个GPU故障的影响。我们提出了AnchorTP，一种具有状态保持的弹性TP框架，用于快速恢复。它（i）实现了弹性张量并行，能够

返回教程库 · 察元AI产品家族