察元AI教程库 · 仓库 · 部署

TensorRT-LLM

TensorRT LLM提供用户友好的Python API来定义大型语言模型（LLMs），并支持最先进的优化技术，以高效地在NVIDIA GPU上进行推理。TensorRT LLM还包含创建Python和C++运行时组件，用于协调推理执行。

作者:NVIDIA · 语言:en

前往原址学习

简介

TensorRT LLM提供用户友好的Python API来定义大型语言模型（LLMs），并支持最先进的优化技术，以高效地在NVIDIA GPU上进行推理。TensorRT LLM还包含创建Python和C++运行时组件，用于协调推理执行。

返回教程库 · 察元AI产品家族