察元AI教程库 · 文章 · 部署

Kascade：一种适用于长上下文LLM推理的实用稀疏注意力方法

注意力是长上下文大语言模型（LLM）推理过程中最主要的延迟来源，尤其在推理模型和RAG等日益流行的负载中。我们提出Kascade，一种无需训练的稀疏注意力方法，利用已知的观察结果，例如：1）注意力在softmax之后本质上是稀疏的，

作者:Dhruv Deshmukh, Saurabh Goyal, Nipun Kwatra · 语言:en

前往原址学习

简介

注意力是长上下文大语言模型（LLM）推理过程中最主要的延迟来源，尤其在推理模型和RAG等日益流行的负载中。我们提出Kascade，一种无需训练的稀疏注意力方法，利用已知的观察结果，例如：1）注意力在softmax之后本质上是稀疏的，

返回教程库 · 察元AI产品家族