察元AI教程库 · 文章 · 大模型

在Transformer语言模型中进行推理桥接探查

我们研究了预训练的Transformer语言模型在推理中的桥梁作用。我们首先研究了BERT中各个注意力头，发现高层注意力头更突出地关注于“桥梁”关系，与中层和低层相比，而且少数特定的注意力头

作者:Onkar Pandit, Yufang Hou · 语言:en

前往原址学习

简介

我们研究了预训练的Transformer语言模型在推理中的桥梁作用。我们首先研究了BERT中各个注意力头，发现高层注意力头更突出地关注于“桥梁”关系，与中层和低层相比，而且少数特定的注意力头

返回教程库 · 察元AI产品家族