察元AI教程库 · 文章 · 大模型

H-Transformer-1D:用于序列的快速一维层次注意力

我们描述了一种高效的层次化方法来计算Transformer架构中的注意力。所提出的注意力机制利用了类似于数值分析领域开发的分层矩阵(H-Matrix)的矩阵结构,具有线性运行时间和内存复杂度。

作者:Zhenhai Zhu, Radu Soricut · 语言:en

前往原址学习

简介

我们描述了一种高效的层次化方法来计算Transformer架构中的注意力。所提出的注意力机制利用了类似于数值分析领域开发的分层矩阵(H-Matrix)的矩阵结构,具有线性运行时间和内存复杂度。

返回教程库 · 察元AI产品家族