察元AI教程库 · 文章 · 大模型

Diffuser：一种用于长序列的高效Transformer，采用多跳注意力扩散

为实现长序列建模，已经开发出高效的Transformer，其内存和时间复杂度低于二次。稀疏Transformer是一种通过限制自注意力仅作用于预定义稀疏模式指定的位置来提高Transformer效率的流行方法。Ho

作者:Aosong Feng, Irene Li, Yuang Jiang · 语言:en

简介