察元AI教程库 · 文章 · 部署

Star Attention：高效处理长序列的大语言模型推理

基于Transformer的大语言模型（LLMs）在长序列上的推理既昂贵又缓慢，因为自注意力机制具有二次复杂度。我们引入了Star Attention，这是一种两阶段的块稀疏近似方法，通过分块注意力计算来提高计算效率

作者:Shantanu Acharya, Fei Jia, Boris Ginsburg · 语言:en

前往原址学习

简介

基于Transformer的大语言模型（LLMs）在长序列上的推理既昂贵又缓慢，因为自注意力机制具有二次复杂度。我们引入了Star Attention，这是一种两阶段的块稀疏近似方法，通过分块注意力计算来提高计算效率

返回教程库 · 察元AI产品家族