察元AI教程库 · 仓库 · 部署

quant.cpp

支持7倍上下文长度的LLM推理。纯C语言编写,零依赖。无损KV缓存压缩 + 单头库。

作者:quantumaikr · 语言:en

前往原址学习

简介

支持7倍上下文长度的LLM推理。纯C语言编写,零依赖。无损KV缓存压缩 + 单头库。

返回教程库 · 察元AI产品家族