察元AI教程库 · 仓库 · 部署

KVQuant

[NeurIPS 2024] KVQuant:通过KV缓存量化实现1000万上下文长度的LLM推理

作者:SqueezeAILab · 语言:en

前往原址学习

简介

[NeurIPS 2024] KVQuant:通过KV缓存量化实现1000万上下文长度的LLM推理

返回教程库 · 察元AI产品家族