察元AI教程库 · 仓库 · 部署

Model-Optimizer

一个统一的顶级模型优化技术库,包括量化、蒸馏、剪枝、神经架构搜索、推测解码等。它能压缩深度学习模型,以适应TensorRT-LLM、TensorRT、vLL

作者:NVIDIA · 语言:en

前往原址学习

简介

一个统一的顶级模型优化技术库,包括量化、蒸馏、剪枝、神经架构搜索、推测解码等。它能压缩深度学习模型,以适应TensorRT-LLM、TensorRT、vLL

返回教程库 · 察元AI产品家族