察元AI教程库 · 文章 · 大模型

Transformer神经网络架构中用于注意力的替代缩放点积

Transformer神经网络架构采用一种注意力机制，其中查询和键的点积除以键维度的平方根后应用softmax。这种点积的缩放设计是为了防止点积的绝对值变得过大

作者:James Bernhard · 语言:en

前往原址学习

简介

Transformer神经网络架构采用一种注意力机制，其中查询和键的点积除以键维度的平方根后应用softmax。这种点积的缩放设计是为了防止点积的绝对值变得过大

返回教程库 · 察元AI产品家族