察元AI教程库 · 仓库 · 部署

turboquant

TurboQuant:针对LLM推理的近最优KV缓存量化(3位键,2位值),结合Triton内核与vLLM集成

作者:0xSero · 语言:en

前往原址学习

简介

TurboQuant:针对LLM推理的近最优KV缓存量化(3位键,2位值),结合Triton内核与vLLM集成

返回教程库 · 察元AI产品家族