察元AI能力广场 · 智能体应用
Stars 161 · 作者 NetEase-Media
基于TensorRT-LLM的高性能纯C++ OpenAI兼容LLM服务
grps_trtllm 是一个高性能的 OpenAI LLM 服务，性能优于 vLLM serve。它使用纯 C++ 实现，结合 GPRS、TensorRT-LLM 和 Tokenizers.cpp，支持聊天、函数调用、AI 代理及多模态能力。系统支持分布式多 GPU 推理，并提供 Gradio 聊天界面。适合需要极低延迟和高吞吐量 LLM 推理的大规模生产环境使用。