察元AI教程库 · 文章 · 大模型

Transformer中片段记忆的涌现：训练过程中注意力分数时间结构变化的特征化

我们研究了注意力头和Transformer输出中的上下文时间偏差。采用认知科学方法，我们分析了不同规模的GPT-2模型的注意力分数和输出。在不同的注意力头中，我们观察到与人类情景记忆特征相关的效果，包括

作者:Deven Mahesh Mistry, Anooshka Bajaj, Yash Aggarwal · 语言:en

简介