察元AI教程库 · 仓库 · 部署
性能优于vLLM的OpenAI LLM服务：一个基于GPRS+TensorRT-LLM+Tokenizers.cpp的纯C++高性能OpenAI LLM服务，支持聊天和函数调用、AI智能体、分布式多GPU推理、多模态能力以及Gradio聊天界面。
作者:NetEase-Media · 语言:en
性能优于vLLM的OpenAI LLM服务：一个基于GPRS+TensorRT-LLM+Tokenizers.cpp的纯C++高性能OpenAI LLM服务，支持聊天和函数调用、AI智能体、分布式多GPU推理、多模态能力以及Gradio聊天界面。