察元AI教程库 · 文章 · 大模型

学习的形态：变换器模型中的各向异性与内在维度

本研究探讨了Transformer架构中嵌入的各向异性动态和内在维度，重点关注编码器与解码器之间的差异。我们的研究发现，Transformer解码器中的各向异性特征呈现出明显的钟形

作者:Anton Razzhigaev, Matvey Mikhalchuk, Elizaveta Goncharova · 语言:en

简介