察元AI教程库 · 仓库 · 部署

candle-vllm

用于本地大语言模型(LLM)推理和服务的高效平台,包含兼容OpenAI的API服务器。

作者:EricLBuehler · 语言:en

前往原址学习

简介

用于本地大语言模型(LLM)推理和服务的高效平台,包含兼容OpenAI的API服务器。

返回教程库 · 察元AI产品家族