察元AI教程库 · 文章 · 大模型

在高效Transformer及其相关架构上的神经架构搜索

近年来，提出了许多高效的Transformer模型，以减少标准Transformer因Softmax注意力导致的二次计算复杂度。然而，大多数方法只是将Softmax替换为高效的注意力机制，而没有考虑定制的架构设计

作者:Zexiang Liu, Dong Li, Kaiyue Lu · 语言:en

前往原址学习

简介

近年来，提出了许多高效的Transformer模型，以减少标准Transformer因Softmax注意力导致的二次计算复杂度。然而，大多数方法只是将Softmax替换为高效的注意力机制，而没有考虑定制的架构设计

返回教程库 · 察元AI产品家族