察元AI教程库 · 文章 · 部署

SparDA：用于高效长上下文LLM推理的稀疏解耦注意力

稀疏注意力减少了长上下文LLM推理中的计算和内存带宽。然而，仍存在两个关键挑战：（1）KV缓存容量仍随序列长度增长，且向CPU内存迁移引入了PCIe传输瓶颈；（2）稀疏选择步骤本身仍保留O(T²)

作者:Yaosheng Fu, Guangxuan Xiao, Xin Dong · 语言:en

前往原址学习

简介

稀疏注意力减少了长上下文LLM推理中的计算和内存带宽。然而，仍存在两个关键挑战：（1）KV缓存容量仍随序列长度增长，且向CPU内存迁移引入了PCIe传输瓶颈；（2）稀疏选择步骤本身仍保留O(T²)

返回教程库 · 察元AI产品家族