察元AI教程库 · 文章 · 部署

VecInfer: 通过异常抑制向量量化实现的低比特键值缓存高效LLM推理

Key-Value（KV）缓存在大型语言模型（LLM）推理过程中引入了巨大的内存开销。尽管现有的向量量化（VQ）方法减少了KV缓存的使用，并提供了不同位宽下的灵活表示能力，但在超低位宽下却表现出严重的性能下降

作者:Dingyu Yao, Chenxu Yang, Zhengyang Tong · 语言:en

前往原址学习

简介

Key-Value（KV）缓存在大型语言模型（LLM）推理过程中引入了巨大的内存开销。尽管现有的向量量化（VQ）方法减少了KV缓存的使用，并提供了不同位宽下的灵活表示能力，但在超低位宽下却表现出严重的性能下降

返回教程库 · 察元AI产品家族