察元AI教程库 · 文章 · 大模型

Transformer注意力输出中的维度坍缩：对稀疏字典学习的挑战

Transformer架构及其特别的注意力机制构成了现代大型语言模型的基础。尽管人们普遍认为Transformer模型在高维隐藏空间中运行，但我们发现注意力输出实际上被限制在令人惊讶的低维空间中

作者:Junxuan Wang, Xuyang Ge, Wentao Shu · 语言:en

简介