察元AI教程库 · 文章 · 部署

ScoutAttention：通过层前CPU预计算实现LLM推理中的高效KV缓存卸载

在长上下文推理过程中，大型语言模型（LLMs）面临关键的GPU内存容量限制，K-V缓存的内存消耗严重限制了解码批大小。尽管已有研究探索了将K-V缓存卸载到DRAM，但这些方法要么需要频繁的GPU-CPU数据传输

作者:Qiuyang Zhang, Kai Zhou, Ding Tang · 语言:en

前往原址学习

简介

在长上下文推理过程中，大型语言模型（LLMs）面临关键的GPU内存容量限制，K-V缓存的内存消耗严重限制了解码批大小。尽管已有研究探索了将K-V缓存卸载到DRAM，但这些方法要么需要频繁的GPU-CPU数据传输

返回教程库 · 察元AI产品家族