察元AI教程库 · 文章 · 大模型

DeInfer：分解式大型语言模型的高效并行推理

现有大型语言模型（LLM）分解研究主要集中在提升下游任务的性能，但忽略了在模型规模扩大时推理性能下降的问题。为缓解这一重要性能问题，本文提出了DeInfer，一种高并行性的

作者:You-Liang Huang, Xinhao Huang, Chengxi Liao · 语言:en

简介