察元AI教程库 · 文章 · 部署

ServeGen：生产环境中大型语言模型服务的工作负载特征分析与生成

随着大语言模型（LLMs）的广泛应用，处理LLM推理请求已成为一项日益重要的任务，吸引了大量研究进展。实际工作负载在此过程中起着关键作用：它们对于推动和评估服务技术至关重要

作者:Yuxing Xiang, Xue Li, Kun Qian · 语言:en

简介