察元AI教程库 · 仓库 · 部署

fp6_llm

使用 x-bit 量化(如 FP6、FP5)的高效 GPU 支持大语言模型推理。

作者:usyd-fsalab · 语言:en

前往原址学习

简介

使用 x-bit 量化(如 FP6、FP5)的高效 GPU 支持大语言模型推理。

返回教程库 · 察元AI产品家族