察元AI教程库 · 仓库 · 部署

vLLM-2080Ti-终极版

专为双RTX 2 2080 Ti 22GB + NVLink设计的vLLM运行时，支持Qwen 27B本地推理，单请求解码速度可达200+ token/s，支持FP8权重（加入Discord：https://discord.gg/VFqVVySdMS）

作者:weicj · 语言:en

前往原址学习

简介

专为双RTX 2 2080 Ti 22GB + NVLink设计的vLLM运行时，支持Qwen 27B本地推理，单请求解码速度可达200+ token/s，支持FP8权重（加入Discord：https://discord.gg/VFqVVySdMS）

返回教程库 · 察元AI产品家族