察元AI教程库 · 文章 · 大模型

通过正则化的非局部泛函缓解Transformer中的过度平滑问题

Transformer在自然语言处理和计算机视觉应用中取得了显著成功。然而，由于过度平滑问题，深度Transformer模型的表示能力会下降，即当模型层数增加时，token表示变得相同

作者:Tam Nguyen, Tan M. Nguyen, Richard G. Baraniuk · 语言:en

简介