察元AI教程库 · 文章 · 大模型
Transformer是一种完全基于注意力的递归网络替代方案，在多种自然语言处理任务中取得了最先进的成果。本文分析了Transformer语言模型GPT-2小规模预训练模型中的注意力结构，并可视化了单个的注意力。
作者:Jesse Vig, Yonatan Belinkov · 语言:en
Transformer是一种完全基于注意力的递归网络替代方案，在多种自然语言处理任务中取得了最先进的成果。本文分析了Transformer语言模型GPT-2小规模预训练模型中的注意力结构，并可视化了单个的注意力。