察元AI教程库 · 文章 · 部署

FIER：细粒度且高效的KV缓存检索，用于长上下文LLM推理

键值（KV）缓存的读取延迟随着上下文长度的增加而显著上升，阻碍了长上下文LLM推理的效率。为解决此问题，先前的研究提出保留基于标记重要性的KV缓存的小部分。例如，KV缓存的淘汰使用静态启发式方法来

作者:Dongwei Wang, Zijie Liu, Song Wang · 语言:en

简介