察元AI教程库 · 文章 · 大模型

ODE变换器：一种受常微分方程启发的神经机器翻译模型

已发现残差网络是常微分方程（ODEs）解的欧拉离散化。本文探讨了Transformer与ODE数值方法之间的深层关系。我们表明，Transformer中的残差层可以被描述为

作者:Bei Li, Quan Du, Tao Zhou · 语言:en

前往原址学习

简介

已发现残差网络是常微分方程（ODEs）解的欧拉离散化。本文探讨了Transformer与ODE数值方法之间的深层关系。我们表明，Transformer中的残差层可以被描述为

返回教程库 · 察元AI产品家族