察元AI教程库 · 仓库 · 部署

QKV-Core

为在低VRAM设备(例如GTX 1050)上部署7B+ LLMs设计的自适应混合量化框架,具备手术级块对齐和Numba加速推理功能。

作者:QKV-Core · 语言:en

前往原址学习

简介

为在低VRAM设备(例如GTX 1050)上部署7B+ LLMs设计的自适应混合量化框架,具备手术级块对齐和Numba加速推理功能。

返回教程库 · 察元AI产品家族