察元AI教程库 · 文章 · 大模型

ERNIE-SPARSE：通过正则化自注意力学习层次化高效的Transformer

稀疏Transformer最近吸引了大量关注，因为它能够减少对序列长度的二次依赖。我们认为，信息瓶颈敏感性和不同注意力拓扑之间的不一致性这两个因素可能会影响稀疏Transformer的性能

作者:Yang Liu, Jiaxiang Liu, Li Chen · 语言:en

前往原址学习

简介

稀疏Transformer最近吸引了大量关注，因为它能够减少对序列长度的二次依赖。我们认为，信息瓶颈敏感性和不同注意力拓扑之间的不一致性这两个因素可能会影响稀疏Transformer的性能

返回教程库 · 察元AI产品家族