察元AI教程库 · 文章 · 大模型

通过奇异值变换解决Transformer中的令牌均匀性问题

在基于Transformer的模型中，令牌均匀性现象普遍存在，即在经过堆叠的多层自注意力层后，不同令牌会共享大量相似信息。本文提出使用输出的奇异值分布来

作者:Hanqi Yan, Lin Gui, Wenjie Li · 语言:en

前往原址学习

简介

在基于Transformer的模型中，令牌均匀性现象普遍存在，即在经过堆叠的多层自注意力层后，不同令牌会共享大量相似信息。本文提出使用输出的奇异值分布来

返回教程库 · 察元AI产品家族