察元AI教程库 · 文章 · 智能体

MemDecay：一种区域感知的KV缓存淘汰机制，用于高效的大语言模型（LLM）代理推理

大型语言模型（LLM）代理会积累异构上下文，包括系统指令、计划、用户输入、检索到的文档、工具输出和中间推理，其关键值（KV）缓存可能成为主要的内存瓶颈。现有的淘汰策略通常采用相同的

作者:Venkatesha Matam, Keon Kim · 语言:en

前往原址学习

简介

大型语言模型（LLM）代理会积累异构上下文，包括系统指令、计划、用户输入、检索到的文档、工具输出和中间推理，其关键值（KV）缓存可能成为主要的内存瓶颈。现有的淘汰策略通常采用相同的

返回教程库 · 察元AI产品家族