察元AI教程库 · 文章 · 部署

面向LLM推理与AI代理的吞吐量最优调度算法

随着对大型语言模型（LLMs）和AI代理需求的快速增长，优化系统以实现高效的LLM推理变得至关重要。尽管已有大量研究致力于系统级工程，但从数学建模和排队理论角度进行探索仍较少。本文

作者:J. G. Dai, Tianze Deng, Yueying Li · 语言:en

前往原址学习

简介

随着对大型语言模型（LLMs）和AI代理需求的快速增长，优化系统以实现高效的LLM推理变得至关重要。尽管已有大量研究致力于系统级工程，但从数学建模和排队理论角度进行探索仍较少。本文

返回教程库 · 察元AI产品家族