察元AI教程库 · 文章 · 部署

LLM-Emu：通过基于配置采样的原生运行时模拟实现LLM推理

对大语言模型（LLM）服务系统的现实评估需要在线工作负载、动态到达、排队以及服务引擎的本地调度来进行执行批处理，但在GPU上运行这些实验成本高昂。现有的模拟器降低了这一成本，但通常在离线或时间扭曲的模式下运行

作者:Wei Da, Evangelia Kalyvianaki · 语言:en

前往原址学习

简介

对大语言模型（LLM）服务系统的现实评估需要在线工作负载、动态到达、排队以及服务引擎的本地调度来进行执行批处理，但在GPU上运行这些实验成本高昂。现有的模拟器降低了这一成本，但通常在离线或时间扭曲的模式下运行

返回教程库 · 察元AI产品家族