察元AI教程库 · 文章 · 大模型

关于Transformer中ReLU和Softmax的探讨

Transformer架构由自注意力机制和前馈网络（FFNs）组成，根据已有研究，这些可以被视作键值记忆。然而，FFN和传统记忆使用不同的激活函数（即ReLU和Softmax），这使得它们不等价

作者:Kai Shen, Junliang Guo, Xu Tan · 语言:en

前往原址学习

简介

Transformer架构由自注意力机制和前馈网络（FFNs）组成，根据已有研究，这些可以被视作键值记忆。然而，FFN和传统记忆使用不同的激活函数（即ReLU和Softmax），这使得它们不等价

返回教程库 · 察元AI产品家族