察元AI教程库 · 文章 · 部署

DistillCache：基于KL指导的自适应KV缓存淘汰，用于内存高效的LLM推理

基于Transformer的大型语言模型（LLMs）在多种任务中表现优异，但其键值（KV）缓存随序列长度线性增长，导致长上下文推理时出现严重的内存瓶颈。现有的启发式淘汰方法（例如H$_2$O和SnapKV）依赖于静态

作者:Asaad Althoubi · 语言:en

前往原址学习

简介

基于Transformer的大型语言模型（LLMs）在多种任务中表现优异，但其键值（KV）缓存随序列长度线性增长，导致长上下文推理时出现严重的内存瓶颈。现有的启发式淘汰方法（例如H$_2$O和SnapKV）依赖于静态

返回教程库 · 察元AI产品家族