察元AI教程库 · 文章 · 智能体

Justitia：通过选择性“优待”实现任务并行大语言模型（LLM）代理的公平与高效调度

LLM代理通常包含并行推理任务，常被用于解决现实世界的问题。在共享GPU服务器上部署此类任务并行的LLM代理时，调度器应能实现快速的代理完成，并保证最坏情况下的性能。为此，我们提出

作者:Mingyan Yang, Guanjie Wang, Manqi Luo · 语言:en

前往原址学习

简介

LLM代理通常包含并行推理任务，常被用于解决现实世界的问题。在共享GPU服务器上部署此类任务并行的LLM代理时，调度器应能实现快速的代理完成，并保证最坏情况下的性能。为此，我们提出

返回教程库 · 察元AI产品家族