察元AI教程库 · 文章 · 大模型

变换器的各向同性校准

关于Transformer模型嵌入空间的不同研究表明，上下文表示的分布高度各向异性——嵌入分布在狭窄的锥体中。同时，静态词表示（如Word2Vec或GloVe）已被证明受益于各向同性

作者:Yue Ding, Karolis Martinkus, Damian Pascual · 语言:en

前往原址学习

简介

关于Transformer模型嵌入空间的不同研究表明，上下文表示的分布高度各向异性——嵌入分布在狭窄的锥体中。同时，静态词表示（如Word2Vec或GloVe）已被证明受益于各向同性

返回教程库 · 察元AI产品家族