察元AI教程库 · 文章 · 大模型

Transformer语言模型中编码概念的分析

我们提出了一种名为ConceptX的新型框架，用于分析预训练语言模型中潜在概念是如何编码在表示中的。该框架通过聚类发现编码的概念，并通过与大量人工定义的概念对齐来解释这些概念。我们在七个transformer模型上进行了分析

作者:Hassan Sajjad, Nadir Durrani, Fahim Dalvi · 语言:en

简介