察元AI教程库 · 文章 · 大模型

Tree Transformer：将树结构融入自注意力机制

从大规模原始文本中预训练Transformer，并在特定任务上进行微调，在多种NLP任务上取得了最先进的结果。然而，目前尚不清楚所学习到的注意力捕捉了什么。注意力头计算出的注意力似乎不符合人类对层次结构的直观理解

作者:Yau-Shian Wang, Hung-Yi Lee, Yun-Nung Chen · 语言:en

简介