察元AI教程库 · 文章 · 部署

Seesaw：通过模型重分片实现高吞吐量的LLM推理

为了提高分布式大型语言模型（LLM）推理的效率，已经提出了多种并行策略，例如张量并行和流水线并行。然而，LLM推理的两个阶段——预填充和解码——具有不同的计算特性，使得

作者:Qidong Su, Wei Zhao, Xin Li · 语言:en

前往原址学习

简介

为了提高分布式大型语言模型（LLM）推理的效率，已经提出了多种并行策略，例如张量并行和流水线并行。然而，LLM推理的两个阶段——预填充和解码——具有不同的计算特性，使得

返回教程库 · 察元AI产品家族