察元AI教程库 · 文章 · 部署

突发工作负载下的LLM推理：改进WAIT算法

大型语言模型（LLMs）如ChatGPT和Claude被广泛用于信息检索和问题解决。近期的研究集中在改进调度算法，以提高吞吐量同时保持低延迟。然而，这些方法通常假设请求到达遵循泊松分布，且

作者:Anjali Gangadhar Katageria, Shobha Rani, Raghu Nandan Sengupta · 语言:en

前往原址学习

简介

大型语言模型（LLMs）如ChatGPT和Claude被广泛用于信息检索和问题解决。近期的研究集中在改进调度算法，以提高吞吐量同时保持低延迟。然而，这些方法通常假设请求到达遵循泊松分布，且

返回教程库 · 察元AI产品家族