察元AI教程库 · 文章 · 部署

基于动态层次稀疏注意力的长上下文建模，适用于内存受限的LLM推理

注意力的二次成本限制了长上下文LLM的可扩展性，尤其是在硬件内存预算有限的情况下。尽管注意力通常是稀疏的，但现有的静态稀疏方法无法适应任务或输入相关的变化，而近期的动态方法依赖于预定义的模板

作者:Siheng Xiong, Joe Zou, Faramarz Fekri · 语言:en

简介