察元AI教程库 · 文章 · 大模型

上下文感知的Transformer

我们引入了上下文就绪的变换器，这是一种新的递归神经网络架构，由D层变换器块构成，该块在每个标记进入前会先进行上下文化处理。在从左到右生成过程中，一个校正网络结合了前一个位置的块输出——一个缓存

作者:Mahesh Godavarti · 语言:en

前往原址学习

简介

我们引入了上下文就绪的变换器，这是一种新的递归神经网络架构，由D层变换器块构成，该块在每个标记进入前会先进行上下文化处理。在从左到右生成过程中，一个校正网络结合了前一个位置的块输出——一个缓存

返回教程库 · 察元AI产品家族