察元AI教程库 · 文章 · 大模型

位置信息在无位置编码的因果Transformer中通过邻近嵌入的相似性显现

具有因果注意力的Transformer可以无需使用位置编码来解决需要位置信息的任务。本文提出并研究了一种关于如何在不使用显式位置编码的情况下存储位置信息的新假设。我们观察到，邻近嵌入

作者:Chunsheng Zuo, Pavel Guerzhoy, Michael Guerzhoy · 语言:en

简介