察元AI教程库 · 仓库 · 部署

llm-d-inference-sim

一个轻量级、可配置且实时的模拟器,无需GPU即可模拟vLLM的行为,无需运行大型模型。

作者:llm-d · 语言:en

前往原址学习

简介

一个轻量级、可配置且实时的模拟器,无需GPU即可模拟vLLM的行为,无需运行大型模型。

返回教程库 · 察元AI产品家族