察元AI教程库 · 文章 · 部署

在访问之前先侦察：基于草图与步行的稀疏注意力，用于高效LLM推理

自注意力在预填充和解码阶段主导了长上下文LLM推理的计算和内存成本。为解决这一问题，我们引入了Sketch&Walk Attention，一种无需训练的稀疏注意力方法，通过轻量级的草图和确定性的

作者:Hoang Anh Duy Le, Sahil Joshi, Zeyu Yang · 语言:en

简介