察元AI教程库 · 仓库 · 部署

llm-compressor

适用于 Transformer 框架的库,可用于对 LLM 应用多种压缩算法,以优化使用 vLLM 的部署

作者:vllm-project · 语言:en

前往原址学习

简介

适用于 Transformer 框架的库,可用于对 LLM 应用多种压缩算法,以优化使用 vLLM 的部署

返回教程库 · 察元AI产品家族