察元AI教程库 · 文章 · 部署

DepthKV：基于层依赖的键值缓存剪枝用于长上下文大语言模型推理

长上下文推理是大型语言模型（LLMs）的关键能力，使其能够处理长文档理解、摘要生成和代码生成等应用。然而，高效的自回归推理依赖于键值（KV）缓存，其内存占用随序列长度线性增长

作者:Zahra Dehghanighobadi, Asja Fischer · 语言:en

前往原址学习

简介

长上下文推理是大型语言模型（LLMs）的关键能力，使其能够处理长文档理解、摘要生成和代码生成等应用。然而，高效的自回归推理依赖于键值（KV）缓存，其内存占用随序列长度线性增长

返回教程库 · 察元AI产品家族