察元AI教程库 · 文章 · 大模型

长短期Transformer:用于语言和视觉的高效Transformer

Transformer在语言和视觉领域都取得了成功。然而,将它们扩展到长序列(如长文档或高分辨率图像)是极其昂贵的,因为自注意力机制对输入序列的长度具有二次时间与内存复杂度。

作者:Chen Zhu, Wei Ping, Chaowei Xiao · 语言:en

前往原址学习

简介

Transformer在语言和视觉领域都取得了成功。然而,将它们扩展到长序列(如长文档或高分辨率图像)是极其昂贵的,因为自注意力机制对输入序列的长度具有二次时间与内存复杂度。

返回教程库 · 察元AI产品家族