察元AI教程库 · 文章 · 大模型

ExPe：用于具有外推能力的生成式变换器模型的精确位置编码

本文介绍了一种新颖的Transformer模型中的位置嵌入方法，称为“精确位置嵌入”（ExPE）。这是一种绝对位置嵌入方法，能够扩展到比训练时更长的序列长度。传统Transformer模型依赖于

作者:Aleksis Datseris, Sylvia Vassileva, Ivan Koychev · 语言:en

简介