察元AI教程库 · 文章 · 大模型

ODE Transformer：一种基于常微分方程的序列生成模型

残差网络是常微分方程（ODE）的欧拉离散化。本文探讨了Transformer与数值ODE方法之间的深层关系。我们首先表明，Transformer中的残差块可以被描述为高阶ODE的解。

作者:Bei Li, Quan Du, Tao Zhou · 语言:en

前往原址学习

简介

残差网络是常微分方程（ODE）的欧拉离散化。本文探讨了Transformer与数值ODE方法之间的深层关系。我们首先表明，Transformer中的残差块可以被描述为高阶ODE的解。

返回教程库 · 察元AI产品家族