察元AI教程库 · 视频 · 部署

KVMem: 最实用的16G显卡Qwen 27b模型部署方案 - 5060ti 30~40tok/s & 256k上下文

https://github.com/kvmem/kvmem-llama.cpp 推荐下melis up主的评测视频，有实际跑出来任务的例子：https://www.bilibili.com/video/BV11deu6xEdD/ Windows CUDA 13/12 安装版本：https://github.com/kvmem/kvmem-llama.cpp/releases/tag/v0.16.…

作者:FirePKU · 语言:zh

前往原址学习

简介

https://github.com/kvmem/kvmem-llama.cpp 推荐下melis up主的评测视频，有实际跑出来任务的例子：https://www.bilibili.com/video/BV11deu6xEdD/ Windows CUDA 13/12 安装版本：https://github.com/kvmem/kvmem-llama.cpp/releases/tag/v0.16.0-rc3 如果win部署朋友碰到显著降速，排查是否显存占用100%。然后（1）把多模态头卸载到cpu [最

返回教程库 · 察元AI产品家族