察元AI教程库 · 文章 · 大模型

瘦身的Transformer

Transformer因其高效捕捉序列信息的能力而被广泛应用。然而，近年来的进展如BERT和GPT-2仅提供了重型架构，侧重于有效性。本文探讨了三种精心设计的轻量级Transformer架构

作者:Chenguang Wang, Zihao Ye, Aston Zhang · 语言:en

前往原址学习

简介

Transformer因其高效捕捉序列信息的能力而被广泛应用。然而，近年来的进展如BERT和GPT-2仅提供了重型架构，侧重于有效性。本文探讨了三种精心设计的轻量级Transformer架构

返回教程库 · 察元AI产品家族