察元AI教程库 · 文章 · 大模型

用于Transformer的相对位置编码，具有线性复杂度

近年来，Transformer模型的进步使得序列长度达到了前所未有的水平，得益于线性的时间和空间复杂度。与此同时，相对位置编码（RPE）被提出作为对经典Transformer有益的改进，其通过利用滞后而非绝对位置来进行推理

作者:Antoine Liutkus, Ondřej Cífka, Shih-Lun Wu · 语言:en

简介