察元AI教程库 · 文章 · 大模型

自注意力归因：解读变换器内部的信息交互

基于Transformer模型的巨大成功得益于强大的多头自注意力机制，该机制学习了标记之间的依赖关系，并从输入中编码上下文信息。先前的研究试图通过不同的显著性度量来归因模型决策到各个输入特征

作者:Yaru Hao, Li Dong, Furu Wei · 语言:en

简介