察元AI教程库 · 文章 · 大模型
大型语言模型（LLM）推理依赖于键值（KV）缓存以避免冗余的注意力计算。尽管近似KV缓存保留技术通过牺牲模型准确性来降低内存使用，但无损方法则从GPU内存中移除KV缓存块并重新构建它们。
作者:Chunan Shi, Yilei Chen, Yilin Chen · 语言:en
大型语言模型（LLM）推理依赖于键值（KV）缓存以避免冗余的注意力计算。尽管近似KV缓存保留技术通过牺牲模型准确性来降低内存使用，但无损方法则从GPU内存中移除KV缓存块并重新构建它们。